청구서에는 대체로 같은 모양이 있어
2026년 프롬프트 시스템의 비용은 대개 큰 맥락의 입력 토큰이 가장 크고, 확장 추론을 켰다면 추론 토큰, 그다음 출력 토큰 순이야. 캐싱, 모델 등급 선택, 추론 분기가 가장 큰 세 손잡이야.
효과가 큰 순서로 조정해
- 프롬프트 캐싱 — 안정적인 머리말 비용을 5~10배 줄일 수 있어.
- 모델 등급 분기 — 일상 요청은 중간 등급으로, 어려운 요청만 최상위로 보내.
- 추론 예산 분기 — 필요한 요청에만 추론을 켜.
- 맥락 줄이기 — RAG의 Top-K를 조이고 문서를 압축하며 옛 대화를 덜어.
- 출력 규율 — 스키마에 묶인 출력이 자유로운 글보다 작아.
- 제공업체 경쟁 — 주기적으로 비교해 알맞은 곳으로 옮겨.
잘못된 최적화
- 품질 하락을 재지 않고 비용과 맞바꾸지 마.
- 꼬리 비용이 문제인데 평균만 줄이지 마. 긴 호출 하나가 싼 호출 천 개를 삼킬 수 있어.
- 운영 복잡성을 먼저 줄이지 않은 채 비용부터 만지지 마.