기록을 보면 처음 어긋난 지점이 보여
추론 모델이 틀린 답을 냈다면 허용된 추론 기록은 중요한 증거야. 많은 팀이 기록은 읽지 않고 감으로 프롬프트를 만진 뒤 효과도 모르는 처방을 배포해. 처음에는 기록 읽기가 느리지만 실패 유형을 나누기 시작하면 고치는 속도가 훨씬 빨라져.
기록에서 찾을 다섯 가지
- 잘못 잡은 전제 — 입력에서 핵심이 아닌 표현에 매달렸어.
- 건너뛴 단계 — 제약을 확인하지 않고 결론으로 뛰었어.
- 되풀이한 단계 — 진전 없이 같은 중간 결과만 바꾸어 말했어.
- 검증 거절을 무시함 — 검증기가 계획을 막았는데 다음 갈래도 실질적으로 같아.
- 토큰 예산 소진 — 답을 쓰기 전에 추론 기록이 공간을 다 써버렸어.
나쁜 기록을 평가 문제로 바꿔
실패 이유를 표시한 추론 기록 몇 개만 있어도 각 실패 유형이 시험 문제가 돼. 평가 모음에 넣고 다음 프롬프트 변경이 그 실패를 고쳤을 때만 진전으로 세어.