고양이 두 잔

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며이 글은 에어플로우로 만든 파이프라인을 아마존 MWAA(Managed Workflows for Apache Airflow, 아마존의 관리형 에어플로우 서비스)로 운영하는 방법을 다룬다. 1부와 2부에서는 에어플로우의 개념과 DAG 작성법을 살펴보았다. 그러나 실제 서비스에서는 에어플로우를 실행할 서버를 계속 운영해야 한다. 이 운영 부담을 덜어 주는 것이 관리형 서비스인 MWAA다. 이번 편은 MWAA가 무엇을 대신 맡는지, 그리고 파이프라인을 어떻게 배포하는지..

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며이 글은 에어플로우에서 DAG(Directed Acyclic Graph, 방향성 비순환 그래프)를 실제로 작성하는 방법을 다룬다. 1부에서는 크론의 한계와 에어플로우의 핵심 개념을 살펴보았다. 이번에는 그 개념을 코드로 옮겨 파이프라인을 직접 만들어 본다. 작성 방식은 데코레이터(decorator, 함수 위에 붙여 기능을 더하는 파이썬 문법)를 사용하는 TaskFlow API를 중심으로 한다. TaskFlow API는 에어플로우 2.0에서 도입된, 함수를 그대로..

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며데이터 파이프라인은 여러 작업을 정해진 순서대로 실행하는 흐름이다. 많은 개발자는 처음에 크론(cron, 유닉스 계열 운영체제의 시간 기반 작업 예약 도구)으로 이 흐름을 자동화한다. 크론은 간단한 작업을 정해진 시각에 돌리는 데에는 충분하다. 그러나 작업이 서로 얽히고 그 수가 늘어나면 크론만으로는 관리가 어려워진다. 이 글은 크론의 한계에서 출발해 아파치 에어플로우(Apache Airflow)가 왜 필요한지 설명한다. 또한 이어지는 편에서 다룰 아마존 MWA..

목차 들어가며앞 글에서 다룬 하둡(Hadoop)은 거대한 데이터를 여러 대의 컴퓨터에 나누어 저장하고 처리하는 길을 열었다. 그러나 하둡의 처리 방식인 맵리듀스(MapReduce)는 단계마다 디스크에 결과를 기록해 속도가 느렸다. 이 한계를 넘어서기 위해 등장한 것이 아파치 스파크(Apache Spark)이다. 스파크는 데이터를 디스크가 아니라 메모리에서 처리해 훨씬 빠른 속도를 낸다. 이 글은 스파크라는 이름을 처음 들어 보는 독자도 따라올 수 있도록 기초부터 설명한다. 스파크가 왜 등장했는지, 무엇이며 어떻게 빠른지, 그리고 지금 어디에 서 있는지를 차례로 다룬다.맵리듀스는 너무 느렸다단계마다 디스크에 쓰는 맵리듀스의 한계하둡의 맵리듀스는 데이터를 맵 단계와 리듀스 단계로 나누어 처리한다. 문제는 각..

목차 들어가며오늘날 기업과 서비스가 다루는 데이터의 양은 한 대의 컴퓨터로는 저장조차 어려운 규모에 이르렀다. 이런 대용량 데이터를 다루는 기술을 통칭해 빅데이터(big data)라 부르며, 그 출발점에 놓인 기술이 하둡(Hadoop)이다. 하둡은 여러 대의 컴퓨터를 묶어 거대한 데이터를 나누어 저장하고 처리하는 오픈소스 프레임워크이다. 이 글은 하둡이라는 이름을 처음 들어 보는 독자도 끝까지 따라올 수 있도록 기초 개념부터 차근차근 설명한다. 다만 하둡은 등장한 지 십수 년이 지나면서 그 역할이 변했으므로, 현재의 위치까지 함께 살펴야 전체 그림이 보인다. 이 글은 하둡이 왜 생겨났는지, 무엇으로 이루어졌는지, 어떻게 동작하는지, 그리고 지금 어디에 서 있는지를 차례로 다룬다.한 대의 컴퓨터로는 감당이..

목차 들어가며아파치 카프카(Apache Kafka)는 대량의 이벤트 데이터를 실시간으로 주고받기 위한 분산 이벤트 스트리밍 플랫폼이다. 2025년 3월에 출시된 카프카 4.0부터 주키퍼(ZooKeeper)가 완전히 제거되었고, 2026년 2월에는 4.2 버전이 공개되었다. 이처럼 카프카의 내부 구조는 최근 몇 년 사이에 적지 않게 바뀌었으며, 운영 방식에도 변화가 뒤따랐다. 이 글은 카프카의 핵심 용어와 그 관계를 먼저 정리하고, 실제 운영에서 마주치는 고려사항을 차례로 다룬다. 이어서 카프카의 장단점과 대안을 비교하고, 마지막으로 AWS의 관리형 서비스인 MSK를 살펴본다.카프카는 메시지 큐가 아니라 로그다프로듀서는 쓰고 컨슈머는 읽지만, 둘은 서로를 모른다카프카의 데이터 흐름은 프로듀서(produce..