CoT — 도움 될 때와 해 될 때

GPT-3 시대 가장 cite된 prompt trick

프롬프트에 "Let's think step by step" 추가하는 게 original CoT finding이었어: 작은 모델의 math word-problem 정확도를 두 자릿수로 올렸어. 2026까지 살아남았는데 leverage가 shift됐어. frontier 모델에서 CoT는 더 좁은 band에서 도움 — 그리고 잘못된 task에서는 해야.

CoT 아직 도움 되는 곳

• step align해야 하는 multi-step 문제 (math, logic, planning, debugging trace).
• 모델이 overshooting — 체크 없이 추측 — 하는 task.
• internally thinking 안 하는 non-reasoning 모델.

CoT 해 되는 곳

• Trivial task (classification, formatting). thinking이 quality gain 없이 토큰 burn.
• Native thinking 있는 reasoning 모델. "think step by step"이 double-think.
• tight, structured output 필요 task. thinking이 response pollute.

compromise: structured CoT

모델한테 consumer가 무시하는 tagged region 안에서 thinking하라 요청: <thinking>...</thinking> 다음 <answer>...</answer>. debugging용 reasoning trace 받으면서 output schema pollute 안 해.