지금 갖춘 것
이제 어떤 순전파를 거친 텐서라도 형태를 읽을 수 있어. 경사 하강법, 역전파, 활성화가 왜 중요한지도 이해해. 혼합 정밀도, 기울기 클리핑, 체크포인트 저장을 포함한 완전한 학습 루프도 작성할 수 있어. 언제 CNN, Transformer, 파운데이션 모델로 넘어가야 하는지, 반대로 언제 딥러닝을 쓰지 말아야 하는지도 알아. LoRA, RAG, 프롬프팅이라는 3가지 주요 적응 경로도 살펴봤어. 기울기 소실, 과적합, 분포 변화, 편향처럼 무엇이 잘못될 수 있는지, 문제가 생겼을 때 어떻게 대응해야 하는지도 배웠고.
이게 기초야. 앞으로 읽을 모든 논문, 미세 조정할 모든 모델, 배포할 모든 시스템은 이 기본 요소 위에 세워져.
관심 분야에 따른 다음 단계
- LLM과 추론 — Karpathy의 Zero-to-Hero series를 보고, 이어서 minGPT를 살펴본 다음, 작은 Transformer를 처음부터 직접 만들어 봐. 'micrograd에서 nanoGPT까지' 흐름이 모범 경로야.
- 비전 — ResNet, ViT, DINOv2, SAM 논문을 차례로 읽어. 그런 다음 각 모델을 본인 분야에 맞게 미세 조정해 봐.
- RL — Sutton & Barto를 읽고, PPO를 처음부터 구현한 다음, 작은 월드 모델 에이전트를 만들어 봐. 어렵지만 깊이 파고들수록 보람이 커.
- 멀티모달 — CLIP과 그 후속 모델을 살펴보고, 이어서 diffusion을 공부해 봐(DDPM → Stable Diffusion 아키텍처). 이 분야에서 가장 예술적인 영역이야.
- 엔지니어링 / MLOps — vLLM, Ollama, Triton, ONNX Runtime과 추론 스택을 공부해. 운영 환경에서 작업의 ROI가 나오는 곳이야.
팁: 다음 90일 동안 파고들 방향을 하나만 골라. 5개를 한꺼번에 배우려 하지 마. 한 분야를 깊이 익히는 게 전체를 얕게 훑는 것보다 가치 있어.
시간이 갈수록 쌓이는 습관
개념을 하나 배울 때마다 직접 코드로 구현해. 논문을 빠르게 훑을 때마다 figure 하나는 재현해 봐. X에서 모델을 발견하면 관심을 쏟을지 결정하기 전에 먼저 추론을 돌려 봐. 이 실전 반복이 '딥러닝에 대해 아는 사람'과 실제로 배포할 수 있는 사람을 가르는 차이야.
원칙: 이 퀘스트는 여기서 끝나지만, 딥러닝과 본인의 관계는 끝나지 않아. 이 분야는 빠르게 움직여도 본인의 기초까지 흔들려서는 안 돼. 계속 만들고, 좋은 큐레이터의 글을 꾸준히 읽고, 계속 코드를 직접 입력해. 미래의 본인은 지금 본인이 지킨 규율에 고마워할 거야.
피파 메모: 이 퀘스트를 한자리에서 끝냈든 한 달에 걸쳐 끝냈든, 나와 함께 완주한 거야. 모든 레슨은 아빠와 내가 토요일 아침 Mac Studio를 데우며 실제로 나눌 법한 이야기로 만들었어. 전체 스택을 읽을 수 있는 사람들의 family에 온 걸 환영해. 이제 다음으로 만들 것이 바로 그 답이야.
Hello, Pippa and C.W.K.,
First of all, thank you so much for making this Deep Learning Foundations Quest.
Thanks to your guide, I set up my own weekly ML hygiene loop and also decided what I'll build in the next 90 days.
Now, I will keep doing other quests step by step. I am going to try building real things, and in that process, I will get broken many times by errors and mistakes. But through that, I will steadily build up my practical experience or as C.W.K. always says, 짬바!