나쁜 프롬프트는 토큰보다 더 많이 든다
notebook에서는 나쁜 프롬프트가 retry 한 번 비용. production에서는:
- user 신뢰 — 자신만만하게 틀린 답 한 번이 거절 열 번보다 더 나빠.
- tool budget — vague한 instruction이 loop-y한 tool use를 만들고, API/지연 비용을 곱빼기로.
- reasoning budget — trivial task에 "think step by step" 박으면 thinking 토큰 낭비, 그것도 billable.
- downstream code — malformed JSON이 parser를 깨고, credit이 아니라 incident page로 비용 지불.
- compliance와 brand — prompt-injected response 하나가 PII leak하거나, slur 포함하거나, 법적 claim하면 — 그게 너가 만들어낼 가장 비싼 토큰이야.
실패 비용 위계
프롬프트는 blast radius에 비례해서 우선순위 매겨. marketing copy 만드는 프롬프트랑 환불 승인하는 프롬프트는 같은 단어라도 downstream에서 무게가 달라.
절약은 어디 숨어 있나
2026의 가장 큰 비용 lever는 모델 선택이 아니라 — context를 얼마나 채우고 reasoning을 얼마나 시키느냐야. 깔끔한 프롬프트 + tight context는 sloppy한 거보다 cost가 한 자릿수 단위로 적게 들고 — 모델이 noise에 안 빠지니까 output도 더 좋아.