옵티마이저는 기울기를 쓰는 방법이야
SGD의 기본 업데이트는 w := w - lr * grad야. 현대 옵티마이저는 여기에 과거 기울기의 이동 평균인 momentum, 과거 기울기 제곱의 이동 평균을 이용한 매개변수별 크기 조절, 가중치 감쇠를 더해. 이런 차이는 학습 속도와 일반화 성능을 바꾸고, Transformer와 CNN에 어떤 옵티마이저를 기본값으로 써야 하는지도 결정해.
- 모멘텀 SGD — 고전적인 기준선이야. ImageNet 계열 데이터로 CNN을 처음부터 학습할 때 가장 좋은 경우가 많아. lr, momentum (0.9), 가중치 감쇠를 신중하게 조정해야 해.
- Adam — 기울기의 이동 평균과 분산을 이용해 매개변수마다 학습률을 조절해. 학습은 빠르지만, 비전 과제에서는 SGD보다 일반화 성능이 떨어질 때도 있어.
- AdamW — Adam에 분리형 가중치 감쇠를 적용한 옵티마이저야. 적응형 옵티마이저에서 가중치 감쇠를 올바르게 처리하는 방식이며, Transformer와 현대적인 학습의 기본값이야.
- Lion — 부호 기반 옵티마이저야. Adam보다 메모리를 적게 쓰면서 일부 작업에서 비슷한 정확도를 보여.
- Adafactor — 매개변수별 분산 상태를 저장하지 않아 메모리 효율이 높아. T5처럼 규모가 매우 큰 모델에 사용해.
팁: 2026년에 가장 무난한 선택은 Transformer에 lr=3e-4 (또는 배치 크기에 맞게 조정), weight_decay=0.01, betas=(0.9, 0.95)를 적용한 AdamW야. 여기서 시작하고, 분명한 이유가 있을 때만 다른 설정을 선택해.
분리형 가중치 감쇠가 중요한 이유
'가중치 감쇠'는 원래 손실에 L2 regularizer를 더하는 방식이야: L + 0.5 * λ * ||w||². SGD에서는 업데이트 전에 기울기에 λw를 반영하는 것과 수학적으로 같아. 하지만 Adam에서는 그렇지 않아. 적응형 학습률이 L2 항의 크기까지 조절하기 때문에 가중치 감쇠 효과가 약해져. AdamW는 둘을 분리해. 적응형 크기 조절과 별개인 단계에서 가중치로부터 직접 λw를 빼. 이 작은 수정은 대부분의 과제에서 측정할 수 있는 차이를 만들어.
원칙: 2018년 이전 코드에서 Adam과 가중치 감쇠를 함께 쓴 흔적을 보면 의심해 봐. 원 논문의 L2 규제를 사용했을 가능성이 높고, 이 방식은 Adam에서 제대로 작동하지 않아. 올바른 AdamW 방식인 분리형 가중치 감쇠가 아닐 수 있어.