고양이 두 잔

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며이 글은 에어플로우로 만든 파이프라인을 아마존 MWAA(Managed Workflows for Apache Airflow, 아마존의 관리형 에어플로우 서비스)로 운영하는 방법을 다룬다. 1부와 2부에서는 에어플로우의 개념과 DAG 작성법을 살펴보았다. 그러나 실제 서비스에서는 에어플로우를 실행할 서버를 계속 운영해야 한다. 이 운영 부담을 덜어 주는 것이 관리형 서비스인 MWAA다. 이번 편은 MWAA가 무엇을 대신 맡는지, 그리고 파이프라인을 어떻게 배포하는지..

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며이 글은 에어플로우에서 DAG(Directed Acyclic Graph, 방향성 비순환 그래프)를 실제로 작성하는 방법을 다룬다. 1부에서는 크론의 한계와 에어플로우의 핵심 개념을 살펴보았다. 이번에는 그 개념을 코드로 옮겨 파이프라인을 직접 만들어 본다. 작성 방식은 데코레이터(decorator, 함수 위에 붙여 기능을 더하는 파이썬 문법)를 사용하는 TaskFlow API를 중심으로 한다. TaskFlow API는 에어플로우 2.0에서 도입된, 함수를 그대로..

목차 크론탭으로도 되는데, 왜 에어플로우인가 | 에어플로우 · MWAA 입문 (1)함수에 데코레이터 하나, 그게 DAG였다 | 에어플로우 · MWAA 입문 (2)서버는 안 만졌는데, 파이프라인이 돈다 | 에어플로우 · MWAA 입문 (3) 들어가며데이터 파이프라인은 여러 작업을 정해진 순서대로 실행하는 흐름이다. 많은 개발자는 처음에 크론(cron, 유닉스 계열 운영체제의 시간 기반 작업 예약 도구)으로 이 흐름을 자동화한다. 크론은 간단한 작업을 정해진 시각에 돌리는 데에는 충분하다. 그러나 작업이 서로 얽히고 그 수가 늘어나면 크론만으로는 관리가 어려워진다. 이 글은 크론의 한계에서 출발해 아파치 에어플로우(Apache Airflow)가 왜 필요한지 설명한다. 또한 이어지는 편에서 다룰 아마존 MWA..