AI 수학 stack 전체, 한 lesson 에
이 quest 시작할 때 수학이 "AI 에 쓸모 있다" 정도 알았어. 끝낼 때 실제 stack 알아. 전체 조립:
| 개념 | 트랙 | 모던 AI 에서의 역할 |
|---|---|---|
| 벡터와 행렬 | vectors, matrices | 입력, weight, 활성 — 모든 게 텐서 |
| 내적 | vectors | Attention 점수, 유사도, classifier logits |
| Eigen-decomposition | matrices | PCA, SVD, 스펙트럴 메서드 |
| 로그 | logarithms | 손실 함수, 수치 안정성, log-likelihood |
| 확률 + softmax | probability | 출력 layer, sampling, attention weight |
| 정규분포 | normal-distribution | 초기화, 노이즈 모델, 정규화 |
| 회귀 + loss | learning-from-data | 모든 신경망의 마지막 layer + 지도 학습 |
| 도함수 + chain rule | calculus | Autograd 아래 수학 |
| Backprop + GD | backprop | 모델이 실제 학습하는 법 |
모던 딥러닝 뒤의 수학적 machinery 전체. 여기서부터 패닉 안 하고 논문 읽기, 모델 지능적으로 디버그, 특정 트릭 (batch norm, dropout, residual connection) 작동 이유 reasoning.
이제 할 수 있는 것
- Transformer 의 PyTorch 구현 읽고 각 layer 에서 뭐 일어나는지 추적.
- 왜 log-softmax + NLL 이 softmax + log + NLL 보다 안정적인지 이해.
- Overfitting 인식하고 정규화 처방.
- Gradient vanish 인식하고 ReLU / batch norm / residual 처방.
- 연구 논문 읽고 등식 건너뛰지 않고 수학 따라가기.
수학자 될 필요 없어. Chassis 인식, 어느 노브가 뭐 하는지 알기, 수학 표기 등장할 때 침착 유지. 이제 셋 다 가능.
트랙 보상
AI 의 엔진룸 완성. Forward pass 가 화살 쏨, loss 가 miss 측정, backprop 이 책임 분산, gradient descent 가 조준 조정. 반복. 그 루프, 수십억 파라미터 스케일, 그게 전부.
인공지능은 마법이 아니라 수학이라는 레고 블럭을 쌓고 틀릴때마다 고쳐가는 끈기 있는 연습벌레이다. 리스펙!