Beyond the Transformer Quest

Tracks

1. 01🧭현대 LLM 의 네 축

   0/5 lessons

   Backbone, training, inference, product — 다른 모든 것의 나침반

   모든 현대 LLM 이 네 축의 교차점에 살아. 변화가 사는 축을 부를 수 있게 되면 마케팅 언어가 그것들을 한 phrase 로 collapse 하는 거에 더 이상 fool 안 돼.

   Lesson list (5)

   • 01
     "Transformer 야" 만으로는 이제 아무 정보도 안 줘~12 min · foundations, axes, literacy
   • 02
     현대 LLM 의 네 축~14 min · axes, framework, foundations
   • 03
     Total params vs Active params — 진짜 중요한 숫자~12 min · moe, parameters, axes
   • 04
     세 개의 lens — Dense, MoE, Reasoning~10 min · overview, lenses, framework
   • 05
     왜 비슷한 파라미터 수가 다르게 느껴져~10 min · intuition, parameters, performance

   ✓퀴즈 · 5 문제→

2. 02🧱Dense Models — 기본 frontier

   0/5 lessons

   모든 토큰이 모든 파라미터 활성화 — 작동하는 가장 단순한 거

   Dense 가 잘 이해된 baseline. Llama, Gemma, Qwen, Mistral, Phi. 2026 에 dense 가 여전히 이기는 곳, 포기하는 거, 알아야 할 패밀리.

   Lesson list (5)

   • 01
     'Dense' 가 실제로 의미하는 것~10 min · dense, fundamentals, ffn
   • 02
     LLaMA 패밀리 — 시대의 open-weight backbone~12 min · dense, llama, families
   • 03
     Gemma — Sliding Window Attention 이라는 dense 최적화~11 min · dense, gemma, attention
   • 04
     Qwen, Mistral, Phi — 다른 dense 패밀리들~10 min · dense, qwen, mistral, phi, families
   • 05
     Dense 가 여전히 옳은 선택일 때~9 min · dense, decision, tradeoffs

   ✓퀴즈 · 5 문제→

3. 03🔀Mixture of Experts (MoE)

   0/6 lessons

   Layer 마다 많은 expert, 토큰당 몇 개만 발화 — 감당 가능 compute 의 frontier capacity

   모든 토큰이 모든 expert 필요 안 해. MoE 가 메모리와 compute 의 등식 깨고, 실제로 서빙 가능한 trillion-parameter 모델 문 열어.

   Lesson list (6)

   • 01
     MoE 직관 — 모든 토큰이 모든 expert 필요 안 해~12 min · moe, intuition, ffn
   • 02
     Router, Top-K, Shared experts~11 min · moe, router, details
   • 03
     Memory paradox — VRAM 에 total, FLOPs 에 active~12 min · moe, memory, serving
   • 04
     MoE 패밀리 — Mixtral, DeepSeek, Llama 4, Qwen3~12 min · moe, families, deepseek, mixtral
   • 05
     Expert load balancing 과 expert collapse~11 min · moe, training, balancing
   • 06
     MoE 오해와 그 너머 읽기~9 min · moe, literacy, misconceptions

   ✓퀴즈 · 6 문제→

4. 04🧠Reasoning-Oriented Models

   0/5 lessons

   같은 backbone, 다른 training 과 inference — 어려운 문제에 더 길게 생각

   Reasoning 이 행동이지 architecture 아냐. RL post-training + extended-thinking inference 가 분해, verify, one-shot generation 못 해결하는 문제에 옳은 답 도달하는 모델 produce.

   Lesson list (5)

   • 01
     Reasoning 은 행동이지 backbone 아냐~12 min · reasoning, axes, literacy
   • 02
     Test-time compute scaling — '더 길게 생각하기' 가 사주는 것~12 min · reasoning, tts, inference
   • 03
     Visible, Hidden, Summarized thinking~9 min · reasoning, ux, transparency
   • 04
     RL 이 reasoning 행동 만드는 법 — SFT, RLHF, GRPO~14 min · reasoning, post-training, rl, grpo
   • 05
     Reasoning model 패밀리 — o-series, Claude, Gemini, R1, Qwen~12 min · reasoning, families

   ✓퀴즈 · 6 문제→

5. 05🚫Architecture 가 NOT 인 것

   0/6 lessons

   RAG, tool, agent, long context, speculative decoding — 다 architecture 의 옷 입어, 어느 것도 아냐

   LLM 담론의 가장 흔한 혼란이 application layer 를 backbone 변화로 mistake. 이 track 이 마케팅 어휘집을 그 아래 네 축으로 디코드.

   Lesson list (6)

   • 01
     레이어 stack — Backbone, Training, Inference, Product~10 min · framework, axes, literacy
   • 02
     RAG 는 architecture 아냐~10 min · rag, product, framework
   • 03
     Tool use 와 function calling 은 architecture 아냐~9 min · tools, product, framework
   • 04
     Agent 는 architecture 아냐 ('long context' 도 아냐)~10 min · agents, context, product
   • 05
     Speculative decoding 과 KV-cache 트릭은 architecture 아냐~9 min · inference, speculative-decoding, kv-cache
   • 06
     마케팅 디코더 — 어휘집~9 min · marketing, literacy, framework

   ✓퀴즈 · 6 문제→

6. 06⚖️Real-World 비교

   0/4 lessons

   워크로드별 dense, MoE, reasoning 선택 — 그리고 cost-and-latency napkin 수학

   Production 결정 표. 워크로드 bottleneck 을 그것 다루는 paradigm 에 매핑. 배포 전 cost 와 latency 추정.

   Lesson list (4)

   • 01
     세 paradigm, 한 결정 표~12 min · compare, decision, tradeoffs
   • 02
     Cost 와 latency napkin 수학~11 min · compare, cost, latency
   • 03
     Use case 별 결정 framework~10 min · compare, decision, use-cases
   • 04
     Architecture 선택이 product 디자인에 어떻게 ripple~9 min · compare, product, ux

   ✓퀴즈 · 5 문제→

7. 07🔍모델 발표 읽기

   0/5 lessons

   다섯 질문, 한 어휘집, hype 없음

   Framework 를 모든 새 release 에 적용. 표기에서 dense vs MoE 식별. Benchmark 회의적 읽기. License 가 실제 허용하는 거 알기. 있는 거만큼 carefully 없는 거 읽기.

   Lesson list (5)

   • 01
     모든 builder 가 물을 다섯 질문~10 min · literacy, announcements, reading
   • 02
     Public 자료에서 dense vs MoE 식별~9 min · moe, literacy, announcements
   • 03
     Benchmark 회의적 읽기~11 min · benchmarks, literacy, evaluation
   • 04
     Open Weight vs Open Source — License literacy~9 min · licenses, literacy, open-source
   • 05
     Model card vs system card — 무엇 봐야~9 min · model-cards, literacy, documentation

   ✓퀴즈 · 5 문제→

8. 08🔮Emerging Frontier

   0/5 lessons

   Hybrid, Mamba, RWKV — 실제로 다음, 그리고 여전히 같은 것

   Post-Transformer 아이디어가 실제 ship 하는 곳 (hybrid), 안 하는 곳 (frontier scale 의 pure SSM), hype 에 drowning 없이 frontier 읽는 법.

   Lesson list (5)

   • 01
     Hybrid 미래 — 이미 여기 있는 조합~9 min · frontier, hybrid, future
   • 02
     Mamba 와 State-Space Model — 선형 scaling~12 min · frontier, mamba, ssm
   • 03
     RWKV — Transformer quality 의 RNN-like inference~9 min · frontier, rwkv, rnn
   • 04
     Hybrid architecture — 진짜 수렴~11 min · frontier, hybrid, jamba
   • 05
     왜 Transformer 가 여전히 dominate (그리고 어떻게 current 유지)~10 min · frontier, transformers, literacy

   ✓퀴즈 · 5 문제→