고양이 두 잔

목차 회사에서 카프카를 사용한 데이터 파이프라인을 스터디하다 보니 데이터 추적을 위한 스키마의 필요성을 깨달았다. 그리고 검색을 해 본 결과 내가 찾던 대상이 레지스트리 스키마이며, 카프카를 사용하는 데 있어서는 사실상의 필수라 했다. 바쁘게 구현하느라 코드의 품질이 떨어지긴 하지만 그나마라도 다음 글에 올려두기로 하고, 이 글에서는 스키마 레지스트리와 Avro에 대해 짧게 짚고 넘어가자. Schema Registry 스키마 레지스트리는 일종의 데이터 저장소이다. RDBMS와 같이 스키마를 만들어서 중간에 자료를 저장하는 역할을 한다. 특별히 여러 언어와 서비스에서 사용하는 Avro 스키마를 저장 및 버전관리를 해주는 앱으로 보면 된다. 이를 통해 데이터의 생산(Produce)과 소비(Consume)가 ..

목차 Apache Kafka 아파치 카프카는 그 유명한 링크드인에서 개발해 11년에 공개한 오픈소스 메시지 브로커 프로젝트이다. Message Broker 오픈소스는 그렇다 치고 메시지 브로커라는 단어를 처음 보니 정리하고 지나가자면, 브로커라는 단어 뜻 그대로 프로그램 간의 메시지를 전달하는 중개인 역할을 하는 앱이라고 생각하면 된다. 출처: https://www.g2.com/articles/message-broker 특히 카프카는 복잡한 시스템에서 컴포넌트 간의 통신을 담당하며, 이 과정에서 컴포넌트들이 직접 통신하는 대신 카프카를 통해 메시지, 즉 요청과 응답을 주고받는다. 이를 통해 시스템은 컴포넌트 사이의 결합도를 낮추는 동시에, 확장성과 유연성을 동시에 높일 수 있게 된다. Key Featur..