조용한 실패는 대개 다섯 범주 안에 있어
학습 실패는 유용한 오류 메시지로 터지기보다 손실이 움직이지 않거나 학습·검증 간격이 줄지 않는 형태로 숨어 나타나. 증상에서 원인을 거꾸로 좁히는 습관이 필요해. 대부분은 다음 점검표에 들어와.
- 자료 건전성 — 레이블 대응, 정규화 범위, 이미지 증강이 의미를 깨는지 확인하고 배치 하나를 직접 출력해 봐.
- 손실 함수 대응 — 활성화와 손실이 맞는지 확인해. softmax 출력에
from_logits=True를 쓰면 조용히 잘못돼. - 학습률 — 너무 크면 NaN이 생기고 너무 작으면 학습이 정체돼.
- 그래디언트 소실과 폭주 — 레이어별 그래디언트 노름이나 NaN 감지 콜백을 확인하고, 폭주할 때는
clipnorm을 사용해. - 과적합 — 학습 손실은 내려가고 검증 손실은 오르면 이미지 증강, Dropout, L2 규제를 추가해.
먼저 아주 작은 자료를 외우게 해
규모를 키우기 전에 표본 32개로 100에포크 학습해 일부러 과적합시켜 봐. 이 작은 자료조차 외우지 못하면 모델 구조나 학습 설정이 깨졌을 가능성이 커. 5분짜리 건전성 검사가 '왜 학습되지 않지?' 문제의 80%를 일찍 걸러내.