Data Engineering Quest

Tracks

1. 01🧭Foundation — 데이터 엔지니어링이 중요한 이유

   0/6 lessons

   80% 문제, modern stack, 그리고 mental model.

   코드 짜기 전에 '왜'부터. 데이터 엔지니어링이 진짜로 뭔지, spreadsheet 는 왜 무너지는지, 2026 modern Python data stack 은 어떻게 생겼는지 — 그리고 한 번 돌아간 스크립트와 매일 밤 도는 파이프라인을 가르는 mental model.

   Lesson list (6)

   • 01
     데이터 엔지니어링이 왜 중요해?~12 min · foundation, career, mental-model
   • 02
     Modern Python Data Stack (2026년 8월 기준)~14 min · foundation, ecosystem, tools
   • 03
     Spreadsheet 가 무너지는 이유~10 min · foundation, anti-pattern, history
   • 04
     DE Mental Model — Schema, Lineage, Idempotency, Contract~14 min · foundation, mental-model, principles
   • 05
     Pandas vs Polars vs DuckDB vs SQL — 언제 뭘 쓸까~13 min · foundation, tools, decision-framework
   • 06
     Production Mindset — Rerunnable, Observable, Reviewable~12 min · foundation, production, mindset

   ✓퀴즈 · 4 문제→

2. 02🔢Frames — NumPy + Pandas Core

   0/7 lessons

   배열, DataFrame, 그리고 loop 에서 vectorization 으로의 사고 전환.

   Python 으로 데이터를 만지는 사람이라면 결국 다 익히게 되는 두 라이브러리. ndarray 가 빠른 이유, broadcasting 의 진짜 의미, Series 와 DataFrame 의 관계, .loc/.iloc 함정, GroupBy split-apply-combine, 테이블 join, 그리고 transformation 을 읽기 좋게 만드는 method-chaining 스타일.

   Lesson list (7)

   • 01
     NumPy 배열 vs Python 리스트 — ndarray 가 왜?~13 min · numpy, ndarray, vectorization
   • 02
     Vectorization & Broadcasting — 사고 전환~14 min · numpy, broadcasting, vectorization
   • 03
     Pandas DataFrame 과 Series — Labeled 테이블~12 min · pandas, dataframe, series
   • 04
     Selection, Filtering, 그리고 .loc / .iloc 함정~13 min · pandas, indexing, loc, iloc, gotcha
   • 05
     GroupBy — Split, Apply, Combine~14 min · pandas, groupby, aggregation
   • 06
     테이블 Join — merge() 와 join key 함정~13 min · pandas, merge, join, gotcha
   • 07
     Method Chaining 과 assign() — 읽기 좋은 transform~11 min · pandas, style, method-chaining

   ✓퀴즈 · 4 문제→

3. 03💾Storage — 진짜 중요한 파일 포맷

   0/6 lessons

   CSV, Excel, Parquet, Arrow, DuckDB, 그리고 고르는 법.

   Disk 에 어떻게 쓰느냐가 다음 stage 의 속도와 비용을 결정해. CSV 는 사람한텐 괜찮지만 분석엔 재앙이야. Parquet 이 분석의 default 고, Arrow 가 도구 사이를 잇는 wire 포맷이고, DuckDB 가 그 전부를 SQL 로 열어 줘. 의도를 갖고 골라 — 어쩌다 말고.

   Lesson list (6)

   • 01
     CSV — 괜찮을 때와 거짓말할 때~12 min · csv, format, gotcha
   • 02
     Excel — 타입 혼동 세금~9 min · excel, format, gotcha
   • 03
     Parquet — Columnar Binary, 왜 중요해~13 min · parquet, columnar, format
   • 04
     Apache Arrow — 본드 포맷~10 min · arrow, format, interop
   • 05
     DuckDB — DB 서버 없이 파일에 SQL~12 min · duckdb, sql, olap
   • 06
     Production 용 포맷 고르기~10 min · format, decision-framework

   ✓퀴즈 · 4 문제→

4. 04🚰Pipelines — 살아남는 ETL 패턴

   0/6 lessons

   Extract, transform, load — 그리고 Polars 가 존재하는 이유.

   스크립트를 파이프라인으로 만들어 주는 패턴들: 깔끔한 stage 경계, 명시적 설정, idempotent write, 그리고 첫 run 을 짜기 전에 두 번째 run 부터 설계하는 규율. 거기에 Pandas 대신 Polars 로 손이 가야 할 때, 그리고 batch vs streaming 의 진짜 차이까지.

   Lesson list (6)

   • 01
     Extract — API, 파일, DB 에서 읽기~13 min · etl, extract, api
   • 02
     Transform — 청소, cast, derive~12 min · etl, transform
   • 03
     Load — Warehouse 또는 downstream 파일에 쓰기~12 min · etl, load, idempotency
   • 04
     Polars — Pandas 가 벽에 부딪힐 때~13 min · polars, performance, lazy
   • 05
     Batch vs Streaming — 진짜 trade-off~11 min · batch, streaming, architecture
   • 06
     실전 Idempotency~11 min · idempotency, production, patterns

   ✓퀴즈 · 4 문제→

5. 05🛡️Quality — 나쁜 데이터는 게이트에서 죽어

   0/6 lessons

   Schema, expectation, profiling, 그리고 검증의 규율.

   Downstream 으로 내보내는 데이터가 contract 가 말한 그 데이터가 맞는지 확인하는 법. Pandera 로 schema 검증, Great Expectations 로 팀 간 데이터 테스트, ydata-profiling 으로 탐색 profiling — 거기에 type drift 탐지와, 사고를 디버깅 가능하게 만드는 구조화 로깅까지.

   Lesson list (6)

   • 01
     Pandera 로 Schema 검증~13 min · validation, pandera, schema
   • 02
     Great Expectations — 팀 간 데이터 테스트~12 min · validation, great-expectations, data-contracts
   • 03
     데이터 Profiling — 검증 전에 데이터 알기~10 min · profiling, exploration, ydata-profiling
   • 04
     Type Drift — 물리기 전에 잡기~10 min · validation, drift, monitoring
   • 05
     Null 과 outlier 처리 — default 아니라 전략~11 min · nulls, outliers, imputation
   • 06
     Observability — 로그, metric, run log~11 min · observability, logging, monitoring

   ✓퀴즈 · 4 문제→

6. 06🎼Orchestration — Airflow, Dagster, Prefect

   0/5 lessons

   뭐가 언제 돌지, 그리고 뭐 fail 했을 때 뭐 할지 결정하는 시스템.

   Orchestrator 없이 언제까지고 버틸 수는 없는 이유. Airflow 의 DAG 모델, Dagster 의 asset-first 접근, Prefect 의 Pythonic flow. 진짜 차이, 진짜 trade-off, 그리고 진짜 팀을 위해 하나를 고르는 법.

   Lesson list (5)

   • 01
     Orchestrator 가 (결국) 필요한 이유~11 min · orchestration, fundamentals
   • 02
     Apache Airflow — DAG, Operator, Scheduler~16 min · airflow, orchestration
   • 03
     Dagster — Asset-First Orchestration~12 min · dagster, assets, orchestration
   • 04
     Prefect — Pythonic 대안~11 min · prefect, flows, orchestration
   • 05
     고르기 — 실용적 결정 frame~10 min · orchestration, decision

   ✓퀴즈 · 4 문제→

7. 07🗺️Modeling — 분석 테이블이 어떻게 설계되나

   0/5 lessons

   Star schema, slowly changing dimension, dbt, lineage.

   분석 테이블이 왜 그 모양인지 (또는 왜 그 모양이어야 하는지). Dimensional modeling, fact 와 dimension 테이블, star vs snowflake, slowly changing dimension, modern transformation layer 로서의 dbt — 그리고 대시보드의 모든 숫자가 어디서 왔는지 정확히 아는 것, lineage.

   Lesson list (5)

   • 01
     Dimensional Modeling — Fact 와 Dimension~13 min · modeling, kimball, dimensional
   • 02
     Star vs Snowflake — 언제 그리고 왜~9 min · modeling, schema, kimball
   • 03
     Slowly Changing Dimension — Type 1 vs Type 2~12 min · modeling, scd, history
   • 04
     dbt — 코드로서의 transformation~13 min · dbt, modeling, transformations
   • 05
     Lineage — 모든 숫자 어디서 왔는지 알기~10 min · lineage, modeling, observability

   ✓퀴즈 · 4 문제→

8. 08🏭Production — 진짜 세계

   0/6 lessons

   Backfill, contract, 모니터링, PII, 비용 — 파이프라인 오래가게 만드는 것들.

   "내 머신에선 돌아가는데" 에서 "2년째 매일 밤 돌아" 로 건너가기. Backfill 과 time-travel read. 팀 사이의 data contract. PII 와 access control. 비용 — DuckDB 가 Snowflake 를 이길 때 (그리고 그 반대). Stakeholder 보다 먼저 문제를 잡는 모니터링. 그리고 데이터 엔지니어링 커리어에 대한 솔직한 이야기.

   Lesson list (6)

   • 01
     밤에 도는 파이프라인 모니터링~12 min · monitoring, production, alerting
   • 02
     Backfill, rerun, time-travel read~11 min · backfill, production, idempotency
   • 03
     팀 간 Data Contract~11 min · contracts, production, process
   • 04
     PII, Compliance, Access Control~11 min · pii, security, compliance
   • 05
     비용 — DuckDB 가 Snowflake 이길 때 (그리고 반대)~10 min · cost, production, tools
   • 06
     데이터 엔지니어링 커리어 현실~10 min · career, production, meta

   ✓퀴즈 · 4 문제→