PyTorch Quest

Tracks

1. 01🔷텐서: 가장 밑바닥

   0/11 lessons

   모양, 자료형, 장치, 스트라이드. 텐서를 읽을 때마다 확인할 네 가지야.

   PyTorch의 모델 가중치, 입력 배치, 기울기, 손실은 모두 텐서로 표현돼. 텐서의 모양과 자료형, 장치, 메모리 배치를 손에 익히면 나머지 기능도 훨씬 투명하게 읽혀.

   Lesson list (11)

   • 01
     텐서가 진짜 뭐냐~12 min · tensor, ndarray, shape
   • 02
     텐서 만들기~15 min · factory, zeros, randn, arange
   • 03
     모양, 자료형, 장치: 세 숫자~12 min · dtype, device, shape, metadata
   • 04
     인덱싱과 슬라이싱~14 min · indexing, slicing, fancy, boolean
   • 05
     모양 바꾸기, 뷰, 축 순서와 연속성 함정~14 min · reshape, view, permute, contiguous, stride
   • 06
     수학: 원소별, 행렬곱, 브로드캐스팅~15 min · matmul, broadcasting, reduction
   • 07
     제자리 연산과 끝의 밑줄~10 min · inplace, memory, autograd
   • 08
     PyTorch ↔ NumPy (그리고 GPU 주의점)~10 min · numpy, interop, memory-sharing
   • 09
     CPU, CUDA, MPS: 장치와 이동~14 min · device, cuda, mps, apple-silicon
   • 10
     requires_grad: Autograd로 들어가는 문~10 min · autograd, requires_grad, graph
   • 11
     저장 공간, 스트라이드, 메모리 배치 이해하기~12 min · memory, stride, storage, contiguous

   ✓퀴즈 · 7 문제→

2. 02🧮Autograd: 자동 미분

   0/10 lessons

   신경망을 학습시키는 동적 그래프와 역전파, 자주 마주치는 함정을 배워.

   Autograd는 순전파 연산을 기록하고 매개변수의 기울기를 계산하는 엔진이야. 동적 계산 그래프와 backward 호출, 기울기 누적부터 AMP·기울기 제한·이상 탐지까지, 학습이 빗나갈 때 필요한 도구를 익혀.

   Lesson list (10)

   • 01
     Autograd가 실제로 하는 일~12 min · autograd, graph, backward
   • 02
     계산 그래프와 grad_fn~12 min · graph, grad_fn, leaf
   • 03
     .backward()와 .grad 버퍼~12 min · backward, grad, scalar
   • 04
     no_grad, inference_mode, 분리~10 min · no_grad, inference, detach
   • 05
     리프 대 중간 텐서와 .retain_grad()~10 min · leaf, intermediate, retain_grad
   • 06
     사용자 정의 Autograd 함수~12 min · custom, Function, advanced
   • 07
     기울기 제한: 폭발하는 기울기 길들이기~10 min · clipping, stability, norm
   • 08
     혼합 정밀도: 자동 형변환과 GradScaler~14 min · amp, autocast, fp16, bf16
   • 09
     torch.func: 샘플별 기울기와 Vmap~12 min · torch.func, vmap, grad, jacobian
   • 10
     잘못 행동하는 기울기 디버깅~14 min · debug, anomaly, nan, inf, diagnostics

   ✓퀴즈 · 8 문제→

3. 03🧠신경망: torch.nn

   0/8 lessons

   모듈, 계층, 매개변수. nn.Module을 알면 PyTorch 모델의 뼈대가 보여.

   torch.nn은 계층을 만드는 기본 요소와 모델을 조립하는 nn.Module 규약을 제공해. 이 트랙을 마치면 처음 보는 PyTorch 모델도 익숙한 구조로 나눠 읽을 수 있어.

   Lesson list (8)

   • 01
     nn.Module: 모든 모델의 공통 기반~14 min · nn.Module, subclass, forward
   • 02
     선형, 편향, MLP~12 min · linear, mlp, bias
   • 03
     활성화: ReLU, GELU, SiLU와 친구들~10 min · activation, relu, gelu, silu
   • 04
     nn.Sequential과 모듈 조합 방식~10 min · sequential, container, composition
   • 05
     매개변수, 버퍼, 상태 사전~12 min · parameter, buffer, state_dict
   • 06
     합성곱 계층: Conv2d와 관련 모듈~14 min · conv2d, cnn, channels, padding
   • 07
     정규화 (BatchNorm, LayerNorm, GroupNorm)과 풀링~12 min · batchnorm, layernorm, groupnorm, pool
   • 08
     드롭아웃, 임베딩, 그리고 합치기~12 min · dropout, embedding, regularization

   ✓퀴즈 · 8 문제→

4. 04🔄학습 반복문

   0/8 lessons

   다섯 단계의 리듬을 익히면 나머지는 엔지니어링이야.

   PyTorch는 학습 과정을 숨기지 않고 직접 조립하게 해. zero_grad, 순전파, 손실, 역전파, 매개변수 갱신의 다섯 단계를 중심으로 손실 함수, 최적화 도구, 학습률 조정, DataLoader, 평가, 체크포인팅과 GPU 학습 반복문을 다뤄.

   Lesson list (8)

   • 01
     다섯 단계 해부~12 min · loop, anatomy, rhythm
   • 02
     손실 함수와 입력 계약~12 min · loss, cross_entropy, mse, binary
   • 03
     옵티마이저: SGD, Adam, AdamW, 매개변수 그룹~14 min · optimizer, sgd, adam, adamw, weight_decay
   • 04
     학습률 조정기와 워밍업~12 min · scheduler, lr, warmup, cosine
   • 05
     Dataset, DataLoader, 작업 프로세스 연결~14 min · dataset, dataloader, num_workers, collate
   • 06
     평가지표와 평가~12 min · metrics, accuracy, precision, recall, f1
   • 07
     체크포인팅: 재개에 필요한 모든 거 저장~12 min · checkpoint, save, load, resume
   • 08
     합치기: 운영에 쓸 수 있는 학습 반복문~14 min · production, gpu, logging, tqdm

   ✓퀴즈 · 8 문제→

5. 05📊데이터 다루기

   0/7 lessons

   데이터셋과 변환, 배치 구성부터 GPU를 쉬지 않게 하는 파이프라인까지.

   운영 환경의 학습 속도는 모델보다 데이터 파이프라인에서 막힐 때가 많아. torchvision v2 변환, 사용자 정의 데이터셋, Hugging Face 데이터셋, 불균형 처리와 DataLoader 설정을 익혀 GPU 활용률을 30%에서 95%까지 끌어올려.

   Lesson list (7)

   • 01
     torchvision 데이터셋과 v2 변환 API~12 min · torchvision, v2, transforms
   • 02
     이미지 증강: 무작위 자르기, 뒤집기, 색상, MixUp, CutMix~14 min · augmentation, mixup, cutmix, regularization
   • 03
     실제 데이터에는 사용자 정의 데이터셋~14 min · dataset, imagefolder, csv
   • 04
     사용자 정의 묶음 구성 함수와 IterableDataset~12 min · collate, iterable, stream, padding
   • 05
     Hugging Face 데이터셋~12 min · huggingface, datasets, arrow, streaming
   • 06
     불균형한 데이터: 표본 추출기, 클래스 가중치, 포컬 손실~12 min · imbalanced, sampler, class-weight, focal-loss
   • 07
     파이프라인 성능: 페이지 고정 메모리, 작업 프로세스, 미리 불러오기~12 min · performance, pin_memory, num_workers, prefetch

   ✓퀴즈 · 8 문제→

6. 06🎓전이 학습 & Hugging Face

   0/6 lessons

   사전 학습 가중치와 계층 동결, LoRA를 이용해 미세 조정을 실용적인 도구로 만들어.

   2026년에는 거의 모든 현대적 작업이 처음부터 학습하지 않고 사전 학습된 모델에서 시작해. 비전의 ResNet·ViT와 텍스트의 BERT·Llama 계열을 바탕으로 특징 추출, 전체 미세 조정, 매개변수 효율 미세 조정을 배우고 torchvision 가중치 API, Hugging Face Trainer, LoRA까지 다뤄.

   Lesson list (6)

   • 01
     전이 학습은 실제로 무엇을 할까?~12 min · transfer, feature-extraction, fine-tuning
   • 02
     비전 모델: ResNet, EfficientNet, ConvNeXt, ViT~12 min · resnet, efficientnet, convnext, vit
   • 03
     Hugging Face Transformers: AutoModel과 파이프라인~14 min · transformers, huggingface, automodel, pipeline
   • 04
     Hugging Face Trainer로 미세 조정~14 min · trainer, fine-tune, training-args
   • 05
     PEFT와 LoRA: 매개변수 효율 미세 조정~14 min · peft, lora, adapter, fine-tune
   • 06
     추론 최적화: torch.compile, 양자화, 배치 처리~12 min · inference, compile, quantization, batch

   ✓퀴즈 · 8 문제→

7. 07⚡현대적인 PyTorch 방식

   0/6 lessons

   torch.compile, DDP, FSDP, AMP, 기울기 체크포인팅, 프로파일링. PyTorch 2.x가 네이티브.

   PyTorch 2.x는 1.x와 사용 감각부터 달라. torch.compile은 즉시 실행 모드의 편리한 디버깅을 유지하면서 그래프 실행 속도를 얻어. DDP와 FSDP는 여러 GPU로 학습 규모를 넓히고, AMP와 기울기 체크포인팅은 더 큰 모델을 다룰 수 있게 해. 이 트랙에서 대규모 학습에 필요한 현대적인 도구를 익혀.

   Lesson list (6)

   • 01
     torch.compile(): 즉시 실행을 유지하는 그래프 최적화~14 min · compile, torchdynamo, inductor
   • 02
     DistributedDataParallel: 다중 GPU 학습~15 min · ddp, distributed, multi-gpu
   • 03
     FSDP: 하나의 GPU에 안 들어가는 모델 학습~14 min · fsdp, shard, scale
   • 04
     혼합 정밀도와 기울기 체크포인팅~12 min · amp, bf16, checkpoint, memory
   • 05
     torch.export: 현대적인 내보내기 시스템~12 min · export, torchscript, deploy
   • 06
     프로파일링: 진짜 병목 찾기~12 min · profiler, perf, memory

   ✓퀴즈 · 8 문제→

8. 08🚀배포 & 운영 환경

   0/6 lessons

   직렬화, ONNX, 양자화, 서빙, 엣지, MLOps. 모델을 노트북에서 떠나보내자.

   학습을 마친 모델은 출발점일 뿐이야. 이 트랙은 .pth 파일을 실제 운영 환경으로 옮기는 전 과정을 다뤄. torch.export를 거쳐 ONNX, ExecuTorch, Core ML로 내보내고, torchao로 양자화하며, FastAPI·TorchServe·vLLM으로 서빙해. 엣지 배포와 MLOps까지 익혀서 모델이 노트북 밖에서도 살아남게 만들자.

   Lesson list (6)

   • 01
     직렬화: state_dict에서 .pt2까지~12 min · serialization, save, torchscript, torch.export
   • 02
     양자화: fp32에서 int8과 int4까지~14 min · quantization, int8, int4, torchao
   • 03
     모델 서빙: FastAPI, TorchServe, vLLM~14 min · serving, fastapi, torchserve, vllm
   • 04
     엣지 배포: ExecuTorch, Core ML, MLX~14 min · executorch, coreml, mlx, edge
   • 05
     가지치기, 지식 증류, 성능 측정~12 min · pruning, distillation, benchmark
   • 06
     MLOps: 실험 추적, 버전 관리, 관측~12 min · mlops, wandb, mlflow, monitoring

   ✓퀴즈 · 8 문제→