Loss 곡선 읽기

~20 min · loss-curve, overfitting, underfitting, early-stopping

Level 0관찰자

0 XP0/43 lessons0/11 achievements

0/120 XP to next level120 XP to go0% complete

건강한 학습

Training loss가 꾸준히 감소.
Validation loss가 감소한 다음 plateau.
두 곡선이 비교적 가까이 머물러.

Overfitting 신호

Training loss는 계속 감소.
Validation loss가 오르기 시작.
모델이 패턴 학습 대신 학습 데이터 암기.

해결: epoch 줄여, dropout 늘려, 다양한 학습 데이터 추가, rank(r) 줄여, early stopping 활성화.

Underfitting 신호

두 loss 다 높고 일찍 plateau.
모델이 충분히 학습 안 했어.

해결: epoch 늘려, learning rate 올려, rank(r) 늘려, 학습 데이터 더, 데이터 품질 체크.

Epoch vs step

1 epoch = 학습 데이터 1회 통과. 1,000예제 + batch 8 → 1 epoch = 125 step. 작은 데이터셋(< 1,000): 3~5 epoch. 큰 데이터셋(> 10,000): 1~2 epoch면 충분한 경우 많음.

Code

Early stopping callback in TRL·python

from transformers import EarlyStoppingCallback
from trl import SFTTrainer

trainer = SFTTrainer(
    model=model,
    args=args,
    train_dataset=dataset,
    eval_dataset=eval_dataset,
    processing_class=tokenizer,
    peft_config=peft_config,
    callbacks=[
        EarlyStoppingCallback(early_stopping_patience=3),
    ],
)
# Stops if validation loss doesn't improve for 3 evaluation rounds.

External links

Exercise

명확한 overfitting 곡선 있는 출간된 학습 런 찾아(W&B에 공개 런 많아). Validation loss 오르기 시작하는 정확한 step 식별. 같은 step의 training loss도 봐 — 갭이 얼마야? 이게 네 자신의 런에서 overfitting 잡는 눈을 calibrate.

Progress

Progress is local-only — sign in to sync across devices.

← Previous배치 크기 & Gradient Accumulation Next →메모리 최적화

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.