고양이 두 잔

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며데이터 파이프라인은 여러 작업을 정해진 순서대로 실행하는 흐름이다. 많은 개발자는 처음에 크론(cron, 유닉스 계열 운영체제의 시간 기반 작업 예약 도구)으로 이 흐름을 자동화한다. 크론은 간단한 작업을 정해진 시각에 돌리는 데에는 충분하다. 그러나 작업이 서로 얽히고 그 수가 늘어나면 크론만으로는 관리가 어려워진다. 이 글은 크론의 한계에서 출발해 아파치 에어플로우(Apache Airflow)가 왜 필요한지 설명한다. 또한 이어지는 편에서 다룰 아마존 MWA..