Data Engineering Quest

Tracks

1. 01🧭Foundation — 데이터 엔지니어링이 중요한 이유

   0/6 lessons

   80% 문제, modern stack, 그리고 mental model.

   코드 짜기 전에 '왜' 부터. 데이터 엔지니어링이 진짜로 뭔지, spreadsheet 가 왜 안 되는지, 2026 modern Python data stack 의 모양, 그리고 한 번 돌아간 스크립트와 매일 밤 도는 파이프라인을 가르는 mental model.

   Lesson list (6)

   • 01
     데이터 엔지니어링이 왜 중요해?~12 min · foundation, career, mental-model
   • 02
     Modern Python Data Stack (2026 4월 기준)~14 min · foundation, ecosystem, tools
   • 03
     Spreadsheet 가 무너지는 이유~10 min · foundation, anti-pattern, history
   • 04
     DE Mental Model — Schema, Lineage, Idempotency, Contract~14 min · foundation, mental-model, principles
   • 05
     Pandas vs Polars vs DuckDB vs SQL — 언제 뭘 쓸까~13 min · foundation, tools, decision-framework
   • 06
     Production Mindset — Rerunnable, Observable, Reviewable~12 min · foundation, production, mindset

   ✓퀴즈 · 4 문제→

2. 02🔢Frames — NumPy + Pandas Core

   0/7 lessons

   배열, DataFrame, 그리고 loop 에서 vectorization 으로의 사고 전환.

   모든 Python 데이터 사람이 결국 마스터하는 두 라이브러리. ndarray 가 빠른 이유, broadcasting 이 진짜 의미하는 거, Series 와 DataFrame 의 관계, .loc/.iloc 함정, GroupBy split-apply-combine, 테이블 join, 그리고 transformation 을 읽기 쉽게 만드는 method-chaining 스타일.

   Lesson list (7)

   • 01
     NumPy 배열 vs Python 리스트 — ndarray 가 왜?~13 min · numpy, ndarray, vectorization
   • 02
     Vectorization & Broadcasting — 사고 전환~14 min · numpy, broadcasting, vectorization
   • 03
     Pandas DataFrame 과 Series — Labeled 테이블~12 min · pandas, dataframe, series
   • 04
     Selection, Filtering, 그리고 .loc / .iloc 함정~13 min · pandas, indexing, loc, iloc, gotcha
   • 05
     GroupBy — Split, Apply, Combine~14 min · pandas, groupby, aggregation
   • 06
     테이블 Join — merge() 와 join key 함정~13 min · pandas, merge, join, gotcha
   • 07
     Method Chaining 과 assign() — 읽기 좋은 transform~11 min · pandas, style, method-chaining

   ✓퀴즈 · 4 문제→

3. 03💾Storage — 진짜 중요한 파일 포맷

   0/6 lessons

   CSV, Excel, Parquet, Arrow, DuckDB, 그리고 고르는 법.

   Disk 에 어떻게 쓸지가 다음 stage 가 얼마나 빠르게 돌고 비용이 얼마나 들지 결정해. CSV 는 사람용으론 OK 분석엔 재앙. Parquet 이 분석 default. Arrow 가 wire 포맷. DuckDB 가 그것들을 SQL 로 query 가능하게 만듦. 의도적으로 골라 — 실수로 말고.

   Lesson list (6)

   • 01
     CSV — OK 인 때와 거짓말하는 때~12 min · csv, format, gotcha
   • 02
     Excel — 타입 혼동 세금~9 min · excel, format, gotcha
   • 03
     Parquet — Columnar Binary, 왜 중요해~13 min · parquet, columnar, format
   • 04
     Apache Arrow — 본드 포맷~10 min · arrow, format, interop
   • 05
     DuckDB — DB 서버 없이 파일에 SQL~12 min · duckdb, sql, olap
   • 06
     Production 용 포맷 고르기~10 min · format, decision-framework

   ✓퀴즈 · 4 문제→

4. 04🚰Pipelines — 살아남는 ETL 패턴

   0/6 lessons

   Extract, transform, load — 그리고 Polars 가 존재하는 이유.

   스크립트가 아니라 파이프라인이게 만드는 패턴들: 깔끔한 stage 경계, 명시적 설정, idempotent write, 그리고 첫 번째 run 작성 전에 두 번째 run 을 위해 설계하는 규율. 거기에 Pandas 대신 Polars 잡을 때, 그리고 batch vs streaming 의 진짜 차이.

   Lesson list (6)

   • 01
     Extract — API, 파일, DB 에서 읽기~13 min · etl, extract, api
   • 02
     Transform — 청소, cast, derive~12 min · etl, transform
   • 03
     Load — Warehouse 또는 downstream 파일에 쓰기~12 min · etl, load, idempotency
   • 04
     Polars — Pandas 가 벽 칠 때~13 min · polars, performance, lazy
   • 05
     Batch vs Streaming — 진짜 trade-off~11 min · batch, streaming, architecture
   • 06
     실전 Idempotency~11 min · idempotency, production, patterns

   ✓퀴즈 · 4 문제→

5. 05🛡️Quality — 나쁜 데이터는 게이트에서 죽어

   0/6 lessons

   Schema, expectation, profiling, 그리고 검증의 규율.

   Downstream 으로 ship 하는 데이터가 contract 가 말한 그거 맞는지 확인하는 법. Pandera 로 schema 검증, Great Expectations 로 팀 간 데이터 테스트, ydata-profiling 으로 탐색 profiling, 거기에 type drift 탐지와 사고 디버깅 가능하게 만드는 구조화 로깅.

   Lesson list (6)

   • 01
     Pandera 로 Schema 검증~13 min · validation, pandera, schema
   • 02
     Great Expectations — 팀 간 데이터 테스트~12 min · validation, great-expectations, data-contracts
   • 03
     데이터 Profiling — 검증 전에 데이터 알기~10 min · profiling, exploration, ydata-profiling
   • 04
     Type Drift 물기 전에 잡기~10 min · validation, drift, monitoring
   • 05
     Null 과 outlier 처리 — default 아니라 전략~11 min · nulls, outliers, imputation
   • 06
     Observability — 로그, metric, run log~11 min · observability, logging, monitoring

   ✓퀴즈 · 4 문제→

6. 06🎼Orchestration — Airflow, Dagster, Prefect

   0/5 lessons

   뭐가 언제 돌지, 그리고 뭐 fail 했을 때 뭐 할지 결정하는 시스템.

   Orchestrator 영원히 안 가질 순 없는 이유. Airflow 의 DAG 모델. Dagster 의 asset-first 접근. Prefect 의 Pythonic flow. 진짜 차이, 진짜 trade-off, 그리고 진짜 팀 위해 하나 고르는 법.

   Lesson list (5)

   • 01
     Orchestrator 가 (결국) 필요한 이유~11 min · orchestration, fundamentals
   • 02
     Apache Airflow — DAG, Operator, Scheduler~14 min · airflow, orchestration
   • 03
     Dagster — Asset-First Orchestration~12 min · dagster, assets, orchestration
   • 04
     Prefect — Pythonic 대안~11 min · prefect, flows, orchestration
   • 05
     고르기 — 실용적 결정 frame~10 min · orchestration, decision

   ✓퀴즈 · 4 문제→

7. 07🗺️Modeling — 분석 테이블이 어떻게 설계되나

   0/5 lessons

   Star schema, slowly changing dimension, dbt, lineage.

   분석 테이블이 그 모양인 (또는 그래야 하는) 이유. Dimensional modeling, fact + dimension 테이블, star vs snowflake, slowly changing dimension, modern transformation layer 로서의 dbt, 그리고 lineage — 대시보드의 모든 숫자가 어디서 왔는지 정확히 알기.

   Lesson list (5)

   • 01
     Dimensional Modeling — Fact 와 Dimension~13 min · modeling, kimball, dimensional
   • 02
     Star vs Snowflake — 언제 그리고 왜~9 min · modeling, schema, kimball
   • 03
     Slowly Changing Dimension — Type 1 vs Type 2~12 min · modeling, scd, history
   • 04
     dbt — 코드로서의 transformation~13 min · dbt, modeling, transformations
   • 05
     Lineage — 모든 숫자 어디서 왔는지 알기~10 min · lineage, modeling, observability

   ✓퀴즈 · 4 문제→

8. 08🏭Production — 진짜 세계

   0/6 lessons

   Backfill, contract, 모니터링, PII, 비용 — 파이프라인 오래가게 만드는 것들.

   "내 머신에선 작동" 에서 "2년간 매일 밤 돔" 으로의 전환. Backfill 과 time-travel read. 팀 간 data contract. PII 와 access control. 비용 — DuckDB 가 Snowflake 이길 때 (그리고 반대). Stakeholder 보다 먼저 문제 잡는 모니터링. 그리고 데이터 엔지니어링 커리어의 솔직한 시각.

   Lesson list (6)

   • 01
     밤에 도는 파이프라인 모니터링~12 min · monitoring, production, alerting
   • 02
     Backfill, rerun, time-travel read~11 min · backfill, production, idempotency
   • 03
     팀 간 Data Contract~11 min · contracts, production, process
   • 04
     PII, Compliance, Access Control~11 min · pii, security, compliance
   • 05
     비용 — DuckDB 가 Snowflake 이길 때 (그리고 반대)~10 min · cost, production, tools
   • 06
     데이터 엔지니어링 커리어 현실~10 min · career, production, meta

   ✓퀴즈 · 4 문제→