Reasoning theatre의 trap

~12 min · reasoning, anti-patterns

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

긴 reasoning이 deep reasoning 아니야

8,000 토큰을 restatement, hedging, shallow exploration으로 채우는 reasoning chain이 200 토큰 chain (constraint 이름, 한 접근 시도, verify)보다 deep하지 않아. 길이가 effort처럼 보이지만 정확도와 항상 correlate 안 해.

theatre 증상

뭐 하기 전에 질문을 paragraph로 paraphrase하는 reasoning.
실제 reconsider 없이 "let me reconsider" 반복.
최종 답에 영향 안 주는 consideration list.
budget으로 늘어나는데 conclusion 안 바꾸는 branch count.

뭘 할까

thinking budget 낮춰. 정확도 hold하면 budget이 bloat였어.
reasoning 구조 prompt: "constraint 이름 붙여, 그 다음 한 접근 propose, 그 다음 verify."
non-reasoning 모델로 switch. 정확도 비교.

Code

Prompted reasoning structure·markdown

Think before you answer. Inside <thinking>:
1. Name the three most binding constraints.
2. Propose one candidate solution.
3. Test the candidate against each constraint.
4. If it fails, revise once.

Do not restate the question. Do not enumerate considerations that don't change the answer.

External links

Anthropic — Long thinking can hurt quality

Exercise

같은 task를 thinking budget 1k, 4k, 16k에 돌려. 정확도와 cost 비교. target 정확도 hit하는 가장 작은 budget 골라.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousReasoning budget vs output budget Next →Reasoning output의 confidence calibrating

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.