PyTorch Quest

Tracks

1. 01🔷Tensors — 가장 밑바닥

   0/11 lessons

   shape, dtype, device, stride. 만 번 확인하게 될 네 숫자.

   PyTorch 에서 모든 건 tensor 야 — model weight, input batch, gradient, loss, learning rate schedule 까지. tensor 를 손에 익히면 framework 의 나머지는 그 위 syntax sugar 처럼 보여.

   Lesson list (11)

   • 01
     Tensor 가 진짜 뭐냐~12 min · tensor, ndarray, shape
   • 02
     Tensor 만들기~15 min · factory, zeros, randn, arange
   • 03
     shape, dtype, device — 세 숫자~12 min · dtype, device, shape, metadata
   • 04
     Indexing 과 Slicing~14 min · indexing, slicing, fancy, boolean
   • 05
     Reshape, View, Permute, 그리고 Contiguous 함정~14 min · reshape, view, permute, contiguous, stride
   • 06
     수학: Element-wise, Matmul, Broadcasting~15 min · matmul, broadcasting, reduction
   • 07
     In-place 연산과 Trailing Underscore~10 min · inplace, memory, autograd
   • 08
     PyTorch ↔ NumPy (그리고 GPU caveat)~10 min · numpy, interop, memory-sharing
   • 09
     CPU, CUDA, MPS — Device 와 이동~14 min · device, cuda, mps, apple-silicon
   • 10
     requires_grad — Autograd 의 게이트웨이~10 min · autograd, requires_grad, graph
   • 11
     Storage, Stride, 그리고 메모리 map 읽기~12 min · memory, stride, storage, contiguous

   ✓퀴즈 · 7 문제→

2. 02🧮Autograd — 자동 미분

   0/10 lessons

   neural network 가 학습 가능해진 이유. dynamic graph, backward, 그리고 자주 부딪히는 함정들.

   Autograd 는 forward pass 를 trainable parameter 로 바꾸는 엔진이야. 이 트랙에서 dynamic computational graph, .backward() 호출, gradient accumulation, 그리고 modern AMP / clip / detect_anomaly 도구들 — training 이 옆길로 샐 때 필요한 디버깅 키트 — 다 풀어.

   Lesson list (10)

   • 01
     Autograd 가 실제로 하는 일~12 min · autograd, graph, backward
   • 02
     Computational Graph 와 grad_fn~12 min · graph, grad_fn, leaf
   • 03
     .backward() 와 .grad 버퍼~12 min · backward, grad, scalar
   • 04
     no_grad, inference_mode, detach~10 min · no_grad, inference, detach
   • 05
     Leaf vs Intermediate Tensor 와 .retain_grad()~10 min · leaf, intermediate, retain_grad
   • 06
     Custom Autograd Function~12 min · custom, Function, advanced
   • 07
     Gradient Clipping — 폭발하는 gradient 길들이기~10 min · clipping, stability, norm
   • 08
     Mixed Precision: autocast 와 GradScaler~14 min · amp, autocast, fp16, bf16
   • 09
     torch.func — Per-Sample Gradient 와 Vmap~12 min · torch.func, vmap, grad, jacobian
   • 10
     잘못 행동하는 Gradient 디버깅~14 min · debug, anomaly, nan, inf, diagnostics

   ✓퀴즈 · 8 문제→

3. 03🧠Neural Networks — torch.nn

   0/8 lessons

   Module, layer, parameter. nn.Module subclass 가 framework 의 절반.

   torch.nn 은 layer primitive 와 nn.Module pattern 을 줘. 이 트랙은 PyTorch 코드의 convention 을 가르쳐 — 어떤 모델을 봐도 같은 모양으로 읽히게.

   Lesson list (8)

   • 01
     nn.Module — 모든 게 상속받는 subclass~14 min · nn.Module, subclass, forward
   • 02
     Linear, Bias, MLP~12 min · linear, mlp, bias
   • 03
     Activation: ReLU, GELU, SiLU 와 친구들~10 min · activation, relu, gelu, silu
   • 04
     nn.Sequential 과 Composition Pattern~10 min · sequential, container, composition
   • 05
     Parameter, Buffer, State Dict~12 min · parameter, buffer, state_dict
   • 06
     Convolution Layer — Conv2d 와 친구들~14 min · conv2d, cnn, channels, padding
   • 07
     Normalization (BatchNorm, LayerNorm, GroupNorm) 과 Pooling~12 min · batchnorm, layernorm, groupnorm, pool
   • 08
     Dropout, Embedding, 그리고 합치기~12 min · dropout, embedding, regularization

   ✓퀴즈 · 8 문제→

4. 04🔄Training Loop

   0/8 lessons

   다섯 단계. 같은 다섯 단계. 영원히. 외우면 나머지는 engineering.

   PyTorch 는 자기 만의 training loop 를 쓰라고 만든 kit, black-box trainer 가 아니야. 이 트랙은 다섯 단계 리듬, loss function, optimizer, scheduler, DataLoader 배관, evaluation, checkpointing, production-ready GPU loop 를 다뤄.

   Lesson list (8)

   • 01
     다섯 단계 해부~12 min · loop, anatomy, rhythm
   • 02
     Loss Function 과 그게 기대하는 것~12 min · loss, cross_entropy, mse, binary
   • 03
     Optimizer — SGD, Adam, AdamW, Per-Group 설정~14 min · optimizer, sgd, adam, adamw, weight_decay
   • 04
     Learning Rate Scheduler 와 Warmup~12 min · scheduler, lr, warmup, cosine
   • 05
     Dataset, DataLoader, Worker 배관~14 min · dataset, dataloader, num_workers, collate
   • 06
     Metric 과 Evaluation~12 min · metrics, accuracy, precision, recall, f1
   • 07
     Checkpointing — 재개에 필요한 모든 거 저장~12 min · checkpoint, save, load, resume
   • 08
     합치기 — Production-Grade Loop~14 min · production, gpu, logging, tqdm

   ✓퀴즈 · 8 문제→

5. 05📊Data 다루기

   0/7 lessons

   Dataset, transform, custom collate, HuggingFace, imbalance, GPU 잘 먹이는 pipeline.

   Model 은 쉬운 부분이야. Data 를 GPU 에 full throughput 으로 밀어 넣는 pipeline — production engineering 의 대부분이 거기서 일어나. torchvision v2 transform, custom Dataset, HuggingFace dataset, imbalance 처리, 그리고 GPU 사용률 30% 인 loop 를 95% 로 바꾸는 loader knob 들을 다뤄.

   Lesson list (7)

   • 01
     torchvision Dataset 과 v2 Transform API~12 min · torchvision, v2, transforms
   • 02
     Image Augmentation — Random Crop, Flip, Color, MixUp, CutMix~14 min · augmentation, mixup, cutmix, regularization
   • 03
     Real Data 위 Custom Dataset~14 min · dataset, imagefolder, csv
   • 04
     Custom Collate 함수와 IterableDataset~12 min · collate, iterable, stream, padding
   • 05
     Hugging Face Datasets~12 min · huggingface, datasets, arrow, streaming
   • 06
     Imbalanced Data — Sampler, Class Weight, Focal Loss~12 min · imbalanced, sampler, class-weight, focal-loss
   • 07
     Pipeline 성능 — Pin Memory, Workers, Prefetch~12 min · performance, pin_memory, num_workers, prefetch

   ✓퀴즈 · 8 문제→

6. 06🎓Transfer Learning & Hugging Face

   0/6 lessons

   pretrained weight, frozen layer, LoRA. fine-tuning 이 의식이 아니라 도구.

   2026 년에 from-scratch training 하는 사람 거의 없어. Pretrained model — vision 의 ResNet/ViT, text 의 BERT/Llama 계열 — 이 출발점이야. 이 트랙은 세 가지 transfer 전략 (feature extraction, full fine-tuning, parameter-efficient fine-tuning), modern torchvision weights API, HuggingFace Trainer, 그리고 LoRA 를 다뤄.

   Lesson list (6)

   • 01
     Transfer Learning 이 실제로 뭐냐~12 min · transfer, feature-extraction, fine-tuning
   • 02
     Vision Model — ResNet, EfficientNet, ConvNeXt, ViT~12 min · resnet, efficientnet, convnext, vit
   • 03
     Hugging Face Transformers — AutoModel 과 Pipeline~14 min · transformers, huggingface, automodel, pipeline
   • 04
     Hugging Face Trainer 로 Fine-tuning~14 min · trainer, fine-tune, training-args
   • 05
     PEFT 와 LoRA — Parameter-Efficient Fine-Tuning~14 min · peft, lora, adapter, fine-tune
   • 06
     Inference 최적화 — torch.compile, Quantization, Batching~12 min · inference, compile, quantization, batch

   ✓퀴즈 · 8 문제→

7. 07⚡Modern PyTorch Pattern

   0/6 lessons

   torch.compile, DDP, FSDP, AMP, gradient checkpointing, profiling. PyTorch 2.x 가 native.

   PyTorch 2.x 는 1.x 와 다른 framework 야. torch.compile 은 eager dev 를 포기하지 않고 graph-mode 속도를 줘. DDP/FSDP 는 multi-GPU 를 열어. AMP 와 gradient checkpointing 은 더 큰 model 을 가능하게 해. 이 트랙은 large-scale training 을 실용적으로 만드는 modern toolkit.

   Lesson list (6)

   • 01
     torch.compile() — eager 안 포기하고 graph mode~14 min · compile, torchdynamo, inductor
   • 02
     DistributedDataParallel — Multi-GPU Training~15 min · ddp, distributed, multi-gpu
   • 03
     FSDP — single GPU 에 안 들어가는 model train~14 min · fsdp, shard, scale
   • 04
     Mixed Precision 과 Gradient Checkpointing~12 min · amp, bf16, checkpoint, memory
   • 05
     torch.export — modern Export System~12 min · export, torchscript, deploy
   • 06
     Profiling — 진짜 bottleneck 찾기~12 min · profiler, perf, memory

   ✓퀴즈 · 8 문제→

8. 08🚀Deployment & Production

   0/6 lessons

   serialization, ONNX, quantization, serving, edge, MLOps. model 을 노트북에서 떠나보내자.

   Trained model 은 product 의 절반. 이 트랙은 .pth 에서 production 까지의 path 를 다뤄: serialization, torch.export → ONNX / ExecuTorch / CoreML, torchao quantization, FastAPI / TorchServe / vLLM 으로 serving, edge 배포, 그리고 production 에서 살아남게 하는 MLOps practice.

   Lesson list (6)

   • 01
     Serialization — state_dict 에서 .pt2 까지~12 min · serialization, save, torchscript, torch.export
   • 02
     Quantization — fp32 에서 int8 (그리고 int4) 까지~14 min · quantization, int8, int4, torchao
   • 03
     Serving — FastAPI, TorchServe, vLLM~14 min · serving, fastapi, torchserve, vllm
   • 04
     Edge Deployment — ExecuTorch, CoreML, MLX~14 min · executorch, coreml, mlx, edge
   • 05
     Pruning, Knowledge Distillation, Benchmarking~12 min · pruning, distillation, benchmark
   • 06
     MLOps — Experiment Tracking, Versioning, Monitoring~12 min · mlops, wandb, mlflow, monitoring

   ✓퀴즈 · 8 문제→