고양이 두 잔

목차 들어가며아파치 카프카(Apache Kafka)는 대량의 이벤트 데이터를 실시간으로 주고받기 위한 분산 이벤트 스트리밍 플랫폼이다. 2025년 3월에 출시된 카프카 4.0부터 주키퍼(ZooKeeper)가 완전히 제거되었고, 2026년 2월에는 4.2 버전이 공개되었다. 이처럼 카프카의 내부 구조는 최근 몇 년 사이에 적지 않게 바뀌었으며, 운영 방식에도 변화가 뒤따랐다. 이 글은 카프카의 핵심 용어와 그 관계를 먼저 정리하고, 실제 운영에서 마주치는 고려사항을 차례로 다룬다. 이어서 카프카의 장단점과 대안을 비교하고, 마지막으로 AWS의 관리형 서비스인 MSK를 살펴본다.카프카는 메시지 큐가 아니라 로그다프로듀서는 쓰고 컨슈머는 읽지만, 둘은 서로를 모른다카프카의 데이터 흐름은 프로듀서(produce..