추론 압축 — 필요 없는 생각은 시키지 마 · Prompt Quest

추론 토큰도 똑같이 돈이 들어

추론을 켠 프롬프트가 잘된다는 사실을 확인한 뒤에는 추론 단계를 줄일 수 있는지 시험해봐. 일반 모델로 바꾸거나, 추론 강도를 낮추거나, 프롬프트에서 CoT 요구를 뺄 수 있어. 추론은 프롬프트를 세우는 비계였을 뿐, 프롬프트가 자리를 잡은 뒤에도 꼭 하중을 받는 기둥이라는 보장은 없어.

줄여도 되는지 확인하는 순서

먼저 전체 추론으로 실행해 출력과 정확도를 기록해.
추론을 끄거나 low로 낮춰 같은 입력을 실행해.
정확도가 그대로라면 더 싼 설정을 택해.
특정 입력에서만 성적이 떨어지면 싼 분류기를 앞에 두고 그 입력에만 추론을 연결해.

호출이 늘면 작은 낭비도 큰 청구서가 돼

추론 비용은 요청량과 함께 커져. 대부분의 호출에는 필요하지 않은데 모두에게 추론을 켠 시스템은 아주 작은 정확도 차이에 매달 수만 달러를 낼 수 있어. 요청을 나누어 보내는 분기가 가장 큰 절약 손잡이야.

Code

요청 종류별 추론 분기·python

def needs_reasoning(req) -> bool:
    # cheap classifier or rule-based router
    return req.complexity_score > 0.7 or req.task in {"plan", "debug"}

resp = client.messages.create(
    model="claude-opus-4-7",
    thinking={"type": "enabled", "budget_tokens": 8_000} if needs_reasoning(req) else None,
    messages=req.messages,
)

추론 압축 — 필요 없는 생각은 시키지 마

추론 토큰도 똑같이 돈이 들어

줄여도 되는지 확인하는 순서

호출이 늘면 작은 낭비도 큰 청구서가 돼

Code

External links

Exercise

Progress

댓글 0