고르기 — 실용적 결정 frame · Data Engineering Quest

솔직한 비교

셋 다 universally 더 좋은 거 없음. 트위터 담론 말고 팀 모양과 제약 기반으로 골라. 작동하는 표 여기.

	Airflow	Dagster	Prefect
Mental model	Task → DAG	Asset → 그래프 emerge	함수 → flow
배포 비용	높음 (DB + scheduler + worker + webserver)	낮음 (시작 시 single process)	가장 낮음 (single process; Cloud 옵션)
Operator ecosystem	가장 큼 (1,500+)	중간	중간
Best for…	이미 ops 있고 통합 많이 필요한 팀	데이터 asset 으로 생각하고 lineage 가 전면이길 원하는 팀	Orchestration 이 Python 라이브러리처럼 느껴지길 원하는 팀
Async / 동시성	OK	좋음	최고 (native async)
UI 성숙도	성숙, 빽빽	Modern, lineage-first	Modern, flow-first
학습 곡선	가파름	중간	완만

실제로 추천하는 default

작은/새 팀, 처음부터: Dagster. Asset 모델이 데이터 팀의 사고 매핑하고 배포가 셋 중 가장 부드러움.
큰 팀, 기존 인프라, 많은 vendor 통합: Airflow. Ecosystem 이점이 진짜.
Orchestration 이 platform 아니라 라이브러리처럼 느껴지길 원하는 엔지니어 팀: Prefect. Hybrid 실행 모델이 규제/security 민감 shop 에 진짜 이점.

그리고 중요한 비-답: 선택에 고통받지 마. 셋 다 충분히 좋아서 어느 거든 가치 대부분 얻어. 파이프라인을 DAG/asset/flow 로 작성하는 규율 이 일을 더 좋게 만드는 거 — 특정 도구는 작은 결정.

Code

같은 파이프라인, 세 framework — 팀 모양 매칭하는 거·text

Airflow:   @dag → @task 함수 → dags/ 안의 DAG 파일
Dagster:   @asset 함수 → repository → dagster dev
Prefect:   @flow + @task 함수 → python flow.py

셋 다 줌: 스케줄링, retry, UI, run 이력, 알림, backfill.
벤치마크 말고 팀 모양 기반 골라. 결정이 본인 괴롭히지 않을 거야.

Exercise

셋 중 하나 골라 (Dagster 가 시작하기 가장 부드러움). 작은 데이터셋 extract, transform, load 하는 작동하는 3-task 파이프라인 빌드. 스케줄. 일부러 fail 시키고 retry 일어나는 거 보고 fix. 목표는 production 파이프라인 ship 이 아니라 loop 느끼는 거.

고르기 — 실용적 결정 frame

솔직한 비교

실제로 추천하는 default

Code

External links

Exercise

Progress

댓글 0