Transformer Quest

Tracks

1. 01⚡왜 트랜스포머인가

   0/10 lessons

   병렬 시퀀스 모델링 — 그게 깬 병목

   트랜스포머가 실제로 푼 문제, attention이 recurrence를 이긴 이유, 2017 설계가 모던 AI 계보에서 어디에 자리 잡는지.

   Lesson list (10)

   • 01
     트랜스포머 이전의 시퀀스 모델링: RNN과 LSTM~22 min · history, rnn, lstm, background
   • 02
     병렬화의 벽: GPU가 RNN을 싫어한 이유~18 min · parallelism, gpu, rnn
   • 03
     긴 의존성과 vanishing gradient~18 min · long-range, vanishing-gradient, rnn
   • 04
     attention의 핵심 통찰: 모든 쌍에 직접 접근~20 min · attention, intuition, core-idea
   • 05
     2017년 논문: 'Attention Is All You Need'~16 min · history, paper, vaswani-2017
   • 06
     영향: 번역에서 GPT, BERT, 그리고 현대 LLM 스택으로~16 min · history, gpt, bert, llm
   • 07
     텍스트를 넘어서: 비전, 오디오, 생물학~14 min · vision, audio, biology, multimodal
   • 08
     스케일링 가설, 그리고 그게 맞은 부분~16 min · scaling, chinchilla, kaplan
   • 09
     Encoder, Decoder, Encoder-Decoder — 모양 셋, 역할 셋~14 min · encoder, decoder, architecture-shapes
   • 10
     로드맵: Track 2-8에서 쌓을 것들~8 min · roadmap, course-overview

   ✓퀴즈 · 4 문제→

2. 02🔤토큰화

   0/12 lessons

   텍스트가 정수가 되는 법

   BPE, WordPiece, SentencePiece, 그리고 실용적 결과 — GPT가 글자 못 세는 이유, 비영어가 쿼리당 더 비싼 이유.

   Lesson list (12)

   • 01
     왜 토큰화인가? 텍스트에서 텐서로 가는 다리~12 min · tokenization, fundamentals
   • 02
     문자 vs 단어 vs subword — 세 전략, 승자 하나~16 min · bpe, subword, vocabulary
   • 03
     Byte-Pair Encoding (BPE)을 한 스텝씩~18 min · bpe, algorithm, gpt
   • 04
     WordPiece — BERT의 tokenizer~12 min · wordpiece, bert
   • 05
     SentencePiece — 언어 독립적 토큰화~14 min · sentencepiece, unigram, multilingual
   • 06
     Vocab 크기 — 32K부터 262K까지, 그리고 trade-off~12 min · vocabulary, scaling, multilingual
   • 07
     Special token — 모델용 비계~12 min · special-tokens, chat-format
   • 08
     Token ID와 embedding lookup~10 min · token-ids, embedding
   • 09
     Tokenizer 특이점 — LLM이 'strawberry'의 r을 못 세는 이유~12 min · limitations, edge-cases
   • 10
     다국어 토큰화와 효율 격차~10 min · multilingual, korean, cjk
   • 11
     tiktoken과 Hugging Face Tokenizers — 실전 도구~10 min · tooling, tiktoken, huggingface
   • 12
     토큰 경제학 — 왜 가격이 토큰당이냐~10 min · pricing, economics, inference

   ✓퀴즈 · 4 문제→

3. 03📐Embedding과 위치

   0/12 lessons

   토큰 ID에서 순서 있는 dense 벡터로

   모델이 정수를 기하로 바꾸는 법, 위치가 주입되는 법 — sinusoidal, learned, RoPE, ALiBi, YaRN 스케일 확장.

   Lesson list (12)

   • 01
     Word embedding — 토큰 ID가 dense vector가 되는 곳~12 min · embeddings, fundamentals
   • 02
     Embedding 차원 (d_model) — 768에서 12,288까지~10 min · d-model, scaling, capacity
   • 03
     의미 산수 — king − man + woman ≈ queen~10 min · semantics, intuition
   • 04
     위치 문제 — attention은 순열에 무관해~12 min · positional, permutation-invariance
   • 05
     Sinusoidal positional encoding (원조 논문)~14 min · sinusoidal, positional
   • 06
     Learned positional embedding (BERT, GPT-2)~10 min · learned-pos, bert, gpt-2
   • 07
     RoPE — Rotary Position Embedding (모던 표준)~18 min · rope, rotation, modern
   • 08
     ALiBi — 선형 bias로 위치 주입~10 min · alibi, extrapolation
   • 09
     컨텍스트 확장 — 왜 어렵고, 뭐가 통하나~14 min · long-context, extension
   • 10
     YaRN과 NTK-aware scaling — Llama 3가 128K까지 간 방법~12 min · yarn, ntk, long-context
   • 11
     입력 파이프라인 — 전부 합쳐보기~8 min · input-pipeline, summary
   • 12
     Embedding 시각화 — 기하를 실제로 보기~10 min · visualization, interpretability

   ✓퀴즈 · 4 문제→

4. 04🎯Attention 메커니즘

   0/13 lessons

   Q, K, V — 그리고 그걸 스케일하는 엔지니어링

   Scaled dot-product attention, multi-head, causal masking, KV cache, GQA, Flash Attention. 가장 깊은 트랙 — 두 번 읽어.

   Lesson list (13)

   • 01
     직관 — attention은 soft dictionary lookup~12 min · intuition, attention, qkv
   • 02
     Q, K, V projection — 비대칭이 어디서 오나~14 min · qkv, projections
   • 03
     Scaled dot-product attention — Q · K^T → softmax → · V~14 min · scaled-dot-product, core
   • 04
     왜 √d_k로 나누나? 스케일링 인자의 정체~10 min · scaled-dot-product, softmax
   • 05
     Multi-head attention — 병렬 subspace들~16 min · multi-head, mha
   • 06
     모델별 head 수 — 8부터 96까지~8 min · heads, model-survey
   • 07
     Self-attention vs cross-attention~10 min · self-attention, cross-attention
   • 08
     Causal masking — decoder-only 모델이 학습 중 답을 못 보게 하는 법~12 min · causal-mask, decoder
   • 09
     Attention 패턴 — head가 실제로 배우는 것들~12 min · interpretability, induction-heads
   • 10
     KV-cache — 생성이 매번 전부 재계산 안 하는 이유~14 min · kv-cache, inference
   • 11
     O(n²) attention 복잡도 — 긴 컨텍스트의 절벽~10 min · complexity, long-context
   • 12
     Efficient attention — Flash Attention, sliding window, sparse~16 min · flash-attention, sliding-window, sparse
   • 13
     GQA와 MQA — KV cache 줄이기~12 min · gqa, mqa, memory

   ✓퀴즈 · 5 문제→

5. 05🧱Transformer block

   0/12 lessons

   Pre-LN, RMSNorm, SwiGLU, residual — unit cell

   Attention + FFN + 정규화 + residual이 80번 쌓이는 building block이 되는 법. MoE와 GQA를 맥락 안에서.

   Lesson list (12)

   • 01
     Layer normalization — Pre-LN vs Post-LN~12 min · layer-norm, stability
   • 02
     Feed-forward network — 위치별 연산~12 min · ffn, fundamentals
   • 03
     활성 함수 — ReLU → GELU → SwiGLU~12 min · activations, swiglu
   • 04
     Residual connection — layer 80개 쌓을 수 있는 이유~10 min · residual, depth
   • 05
     풀 block — 전부 합치기~12 min · block, synthesis
   • 06
     깊이 vs 너비 — 파라미터를 어디 쓸까~10 min · depth, width, scaling
   • 07
     파라미터 수 계산기 — 모델 카드 읽기~10 min · params, model-card
   • 08
     네 숫자 — d_model, d_ff, n_heads, n_layers~8 min · hyperparameters, synthesis
   • 09
     Dropout과 정규화 — 그리고 왜 유행 지났나~8 min · dropout, regularization
   • 10
     Output head — hidden state에서 logit으로~8 min · output-head, weight-tying
   • 11
     Mixture of Experts — sparse 컴퓨트, dense 지식~14 min · moe, mixtral, deepseek
   • 12
     Block 안의 GQA — 구체 예시~8 min · gqa, block-summary

   ✓퀴즈 · 4 문제→

6. 06🔥학습과 생성

   0/12 lessons

   Loss, 스케줄, 디코딩, 그리고 정렬

   사전학습 objective, mixed precision, 디코딩 전략, RLHF / DPO / GRPO / Constitutional AI — 학습과 서빙 스택 전체.

   Lesson list (12)

   • 01
     사전학습 objective — next-token vs masked LM~12 min · pretraining, objectives
   • 02
     Autoregressive 생성 — 한 번에 토큰 하나씩~10 min · generation, decoding
   • 03
     학습 데이터 — 수조 토큰~8 min · data, scale
   • 04
     Loss 함수 — cross-entropy~8 min · loss, cross-entropy
   • 05
     Learning rate — warmup + cosine decay~10 min · lr, schedule
   • 06
     Batch 크기와 gradient accumulation~10 min · batch, gradient-accumulation
   • 07
     Mixed precision — BF16, FP16, FP8~10 min · mixed-precision, bf16, fp8
   • 08
     디코딩 전략 — greedy, beam, top-k, top-p~12 min · decoding, sampling
   • 09
     Temperature — 모델이 얼마나 즉흥적이어야 하나~8 min · temperature, sampling
   • 10
     Repetition penalty와 stop 조건~8 min · repetition, stop-sequences
   • 11
     RLHF와 DPO — 도움되도록 모델 정렬~16 min · rlhf, dpo, alignment
   • 12
     GRPO와 Constitutional AI — DPO 너머의 정렬~14 min · grpo, constitutional-ai, reasoning

   ✓퀴즈 · 4 문제→

7. 07🌳모델 계열

   0/11 lessons

   GPT, Llama, Mistral, Claude, Gemini, 그리고 대안들

   각 주요 모델 계열이 아키텍처 템플릿에 어떻게 들어맞나, state-space 대안(Mamba, RWKV)이 실제로 어디서 경쟁하나.

   Lesson list (11)

   • 01
     Encoder-only — BERT, RoBERTa, 그리고 embedding 시대~12 min · bert, encoder-only, embeddings
   • 02
     Decoder-only — GPT에서 Llama까지, 보편적 모양~12 min · gpt, llama, decoder-only
   • 03
     Encoder-decoder — T5, BART, Whisper~10 min · t5, bart, whisper, encoder-decoder
   • 04
     GPT 계보 — GPT-1에서 GPT-5까지~10 min · gpt, openai, history
   • 05
     Llama 계보 — open weight 프론티어~10 min · llama, meta, open-weight
   • 06
     Mistral 계열 — 효율적인 유럽 open weight~10 min · mistral, mixtral, moe
   • 07
     Gemini 계열 — 구글의 multimodal-first~10 min · gemini, google, multimodal
   • 08
     Claude 계열 — Constitutional AI의 실전~10 min · claude, anthropic, alignment
   • 09
     작은 모델 — Phi, Gemma, Qwen, 그리고 비용-품질 프론티어~12 min · phi, gemma, qwen, small-models
   • 10
     Vision Transformer와 multimodal 모델~12 min · vit, multimodal, vision
   • 11
     State-space 대안 — Mamba, RWKV, 그리고 다음 후보~12 min · mamba, rwkv, ssm

   ✓퀴즈 · 4 문제→

8. 08🔧실전 이해

   0/12 lessons

   모델 카드 읽기, GPU 크기 잡기, 옳은 도구 고르기

   메모리 산수, 양자화, 벤치마크, 2026의 scaling law, inference 최적화, 그리고 따라가는 법.

   Lesson list (12)

   • 01
     모델 카드 읽기 — 다섯 가지 질문~10 min · model-card, evaluation
   • 02
     파라미터 수 직관 — 1B에서 1T까지~8 min · params, intuition
   • 03
     메모리 산수 — 파라미터당 바이트~10 min · memory, deployment
   • 04
     양자화 — Q4, Q5, Q8 실전~12 min · quantization, deployment
   • 05
     컨텍스트 윈도우 함의~10 min · context-window, long-context
   • 06
     벤치마크 문해력 — MMLU에서 GPQA, HLE까지~12 min · benchmarks, evaluation
   • 07
     오늘날의 scaling law — Chinchilla 너머~10 min · scaling-laws, chinchilla
   • 08
     Emergent 능력과 test-time compute~10 min · emergence, test-time-compute
   • 09
     Chinchilla 함정 — 돈이 있는 곳에 최적화~8 min · chinchilla, production
   • 10
     추론 최적화 — Speculative decoding, PagedAttention, continuous batching~14 min · inference, vllm, speculative
   • 11
     Prompting vs RAG vs Fine-tuning — 언제 뭘 쓰나~12 min · prompting, rag, fine-tuning
   • 12
     최신 흐름 따라가기 — 작동하는 reading loop~8 min · meta, research-tracking

   ✓퀴즈 · 4 문제→