나쁜 프롬프트의 값은 토큰으로 끝나지 않아
노트북에서 프롬프트가 나쁘면 한 번 다시 돌리고 말 수 있어. 운영 환경에서는 비용이 여러 갈래로 번져.
- 사용자 신뢰 — 자신만만하게 틀린 답 한 번이 정직한 거절 열 번보다 더 큰 상처를 남겨.
- 도구 예산 — 애매한 지시는 도구를 빙빙 돌게 만들어 API 호출과 지연 시간을 함께 늘려.
- 추론 예산 — 간단한 작업마다 “think step by step”을 붙이면 유료 추론 토큰만 낭비해.
- 뒷단 코드 — 망가진 JSON 하나가 파서를 깨뜨리면 비용은 청구서가 아니라 장애 알림으로 돌아와.
- 규정과 브랜드 — 주입 공격에 넘어간 응답이 개인정보를 흘리거나 혐오 표현·법적 주장을 내놓으면 그 한 토큰이 가장 비싼 토큰이 돼.
피해가 클수록 먼저 고쳐
프롬프트의 우선순위는 피해 반경에 맞춰야 해. 홍보 문구를 만드는 프롬프트와 환불을 승인하는 프롬프트는 같은 실수를 해도 뒷단에서 만들어내는 무게가 전혀 달라.
가장 큰 절약은 맥락과 추론에 숨어 있어
2026년에는 어느 모델을 고르느냐보다 맥락을 얼마나 넣고 추론을 얼마나 요구하느냐가 비용을 더 크게 흔들어. 프롬프트를 정돈하고 필요한 맥락만 촘촘히 넣으면, 어수선한 구성보다 비용이 몇 배씩 줄 수 있어. 모델이 잡음에 빠지지 않으니 출력 품질도 함께 좋아지고.
GPT -5.5 기준으로 보면 input 5달러/1m 토큰, output은 30달러 /1m토큰이다. 비용을 줄이는 가장 큰 효과는 output을 줄이는것이에요. 그런데 아웃풋을 줄이면서 동시에 퀄리티를 망치지 않으려면 아웃풋을 줄이는 것인데, 미사여구들, 설명하는 쿠션언어들을 제외시키는 것으로 생각했어요.
그런데 그러면 여기서 발생하는 의문은, 결국 아웃풋의 형태는 structured output만 남는거 아닌가 싶어요. 사실 아웃풋에는 쿠션언어들이나 설명문도 필요한 거 아닌가요?