고양이 두 잔

목차 https://pages.cs.wisc.edu/~akella/CS744/F17/838-CloudPapers/Kafka.pdf Kafka: 로그 처리를 위한 분산 메시징 시스템 이 논문은 카프카가 처음 만들어진 후(2011) 발간된 첫 논문이다. 정확하게는 논문이라기 보다는 내부 기술문서의 형태를 가지는데, 기념할만한 문서라 생각해서 읽고 정리해 보았다 당연히 전문 번역은 아니고 요약에 가깝다. Abstract 데이터 파이프라인에서 로그 처리는 중요한 구성요소가 되었다. 큰 용량의 데이터를 낮은 지연시간으로 수집하고 전달하기 위한 분산 메시징 시스템으로써 카프카를 소개한다. 이 시스템은 기존의 로그 집계기와 메시징 시스템의 아이디어를 통합하고, 오프라인/온라인 메시지 소비에 모두 적합하다. 카프카는 ..

목차 회사에서 카프카를 사용한 데이터 파이프라인을 스터디하다 보니 데이터 추적을 위한 스키마의 필요성을 깨달았다. 그리고 검색을 해 본 결과 내가 찾던 대상이 레지스트리 스키마이며, 카프카를 사용하는 데 있어서는 사실상의 필수라 했다. 바쁘게 구현하느라 코드의 품질이 떨어지긴 하지만 그나마라도 다음 글에 올려두기로 하고, 이 글에서는 스키마 레지스트리와 Avro에 대해 짧게 짚고 넘어가자. Schema Registry 스키마 레지스트리는 일종의 데이터 저장소이다. RDBMS와 같이 스키마를 만들어서 중간에 자료를 저장하는 역할을 한다. 특별히 여러 언어와 서비스에서 사용하는 Avro 스키마를 저장 및 버전관리를 해주는 앱으로 보면 된다. 이를 통해 데이터의 생산(Produce)과 소비(Consume)가 ..