한 모델 안에서 다시 만난 수학
| 개념 | 모델 안의 자리 |
|---|---|
| 벡터와 행렬 | 입력, 가중치, 활성값을 텐서로 표현하고 변환. |
| 내적 | 선형층, 유사도, 어텐션 점수의 핵심 연산. |
| 로그와 확률 | 로그우도, 교차엔트로피, 안정적인 softmax 계산을 연결. |
| 정규분포 | 일부 초기화와 잡음 모형에서 유용한 가정. |
| 도함수와 연쇄법칙 | 계산그래프를 따라 손실의 민감도를 전달. |
| 역전파와 최적화 | 모든 매개변수의 기울기를 재사용해 구하고 값을 갱신. |
회귀에서 본 모형·손실·평가 골격은 딥러닝에도 이어져. 그렇다고 모든 출력층이 회귀고 모든 학습이 지도학습이라는 뜻은 아님. 분류, 자기지도 다음 토큰 예측, 생성모형은 서로 다른 출력분포와 목적함수를 가져. 네가 배운 건 단일 레시피가 아니라 레시피를 읽는 문법이야.
이제 네가 할 수 있는 진단
- 텐서 모양을 따라가며 선형층과 어텐션의 입력·출력 확인.
log_softmax가 확률을 먼저 0으로 만들지 않고 로그확률을 구하는 이유 설명.- 학습·검증 곡선에서 과적합 가능성을 찾되 평가 분포와 누출도 같이 의심.
- 기울기 소실과 폭발을 보고 활성, 초기화, 잔차연결, 클리핑 중 원인에 맞는 도구 고르기.
- 논문의 식에서 가정과 텐서 모양을 표시한 뒤 작은 코드로 반례 시험.
공식 전부 외우기가 목표 아님. 네가 봐야 할 건 어느 수학이 계산그래프 어디에 있고, 그 가정이 깨지면 어떤 증상이 튀어나오는지야.
트랙을 닫으며
순전파가 예측 만들고, 손실이 목적을 숫자로 박아. 역전파가 민감도 계산, 최적화기가 값 조정. 반복. 이게 근육이야. 단, 실제 학습은 데이터·목적함수·평가·시스템까지 합쳐져야 완성. 다섯 줄 루프만 보고 우주 전체라고 착각하진 마.
인공지능은 마법이 아니라 수학이라는 레고 블럭을 쌓고 틀릴때마다 고쳐가는 끈기 있는 연습벌레이다. 리스펙!