예산 두 개에는 고장도 두 가지야
추론 모델은 생각에 쓴 토큰과 최종 출력 토큰을 따로 청구해. 추론 예산은 사용자 눈에는 보이지 않아도 청구서에는 선명하게 보여. 반대로 출력의 max_tokens가 너무 작으면 답이 중간에서 잘려. 두 예산을 각각 의도적으로 정해야 해.
추론 예산의 출발점
- 단순 분류 — 끄거나 low로 두고, 많아도 몇백 토큰이면 돼.
- 다단계 계획 — 4천~1만 토큰으로 여러 갈래를 살필 공간을 줘.
- 어려운 수학과 깊은 코드 분석 — 2만 토큰 이상도 시험해볼 수 있어. 다만 더 준 예산이 실제로 도움이 되는지 확인해야 해. 수확은 곧 줄어들어.
출력 예산은 결과의 모양에 맞춰
max_tokens는 예상 출력에 약간의 여유를 더해 잡아. 필드 다섯 개인 JSON 객체라면 512토큰으로 충분하고, 긴 글은 2천~4천 토큰이 필요할 수 있어. 잘린 출력은 운영에서 되풀이되는 장애 유형이야. 상한을 명시하고 응답이 상한에 닿으면 경고가 울리게 해.