GPT-3 시절 가장 널리 인용된 요령
프롬프트에 "Let's think step by step"을 붙이는 것이 초기 CoT 연구의 핵심이었어. 작은 모델이 수학 문장제를 푸는 정확도를 두 자릿수만큼 끌어올렸지. 이 방법은 2026년까지 살아남았지만 쓰임새는 좁아졌어. 최전선 모델에서는 알맞은 문제에만 도움이 되고, 잘못 붙이면 오히려 해가 돼.
여전히 도움이 되는 자리
- 수학, 논리, 계획, 디버깅 기록처럼 여러 단계를 순서대로 맞춰야 하는 문제.
- 모델이 검사를 건너뛰고 곧장 추측으로 달려가는 작업.
- 내부 추론 기능이 따로 없는 일반 모델.
오히려 해가 되는 자리
- 분류와 형식 변환 같은 단순 작업. 품질은 그대로인데 토큰만 더 써.
- 이미 자체 추론을 하는 모델. "think step by step"은 같은 일을 두 번 시켜.
- 엄격한 구조화 출력이 필요한 작업. 생각 과정이 응답에 섞일 수 있어.
타협안: 생각과 답을 구조로 나눠
모델에게 <thinking>...</thinking> 안에서 생각하고 <answer>...</answer> 안에 답만 쓰게 할 수 있어. 디버깅할 추론 기록은 남기면서 사용자가 받을 출력 스키마는 더럽히지 않는 방식이야.