생각이 길다고 깊은 건 아니야
같은 말을 되풀이하고 몸을 사리며 얕은 가능성만 늘어놓는 8천 토큰의 추론은, 제약을 밝히고 한 가지 접근을 시도한 뒤 검증하는 200토큰의 추론보다 깊지 않아. 길이는 노력처럼 보이지만 정확도와 늘 함께 오르지는 않아.
추론 연극의 징후
- 문제를 풀기 전에 질문을 한 문단으로 길게 바꾸어 말해.
- 실제로 다른 관점을 시도하지 않으면서 "let me reconsider"만 되풀이해.
- 최종 답에 아무 영향도 주지 않는 고려 사항을 나열해.
- 갈래 수는 예산만큼 늘어나는데 결론은 달라지지 않아.
연극을 걷어내는 방법
- 추론 예산을 낮춰봐. 정확도가 그대로라면 이전 예산은 군살이었어.
- “제약에 이름을 붙이고, 한 가지 접근을 제안한 뒤, 검증해”처럼 추론의 뼈대를 줘.
- 일반 모델로 바꾸어 정확도를 비교해.