토큰 한 줄짜리 청구서가 아니야
호출에는 입력 토큰, 출력 토큰, 캐시 쓰기 토큰, 캐시 읽기 토큰, 서버 도구 호출, 이미지 토큰 비용이 각각 붙을 수 있어. 항목마다 단가가 다르므로 총 토큰 하나만 보면 무엇을 줄여야 할지 알 수 없어.
가장 큰 항목부터 찾아
긴 답을 주는 채팅은 출력 토큰이, 문서를 통째로 넣는 RAG 작업은 입력 토큰이 지배하기 쉬워. 반복 문맥을 잘 캐시하면 싼 캐시 읽기가 커지고 비싼 캐시 쓰기는 드물어야 해. 실제 청구에서 가장 큰 항목을 찾으면 다음 최적화의 방향이 보여.
기능 단위로 비용을 묶어
Anthropic Console은 조직 전체 비용을 보여 주지만 어떤 기능이 썼는지는 애플리케이션이 기록해야 해. cwkPippa는 호출마다 feature: 'chat' | 'heartbeat-weather' | 'council' 같은 표지를 남기고 JSONL에서 기능별 비용을 계산해. 가족 예산에서 설명할 수 있는 단위로 바꾸는 거야.
원칙: 가장 큰 비용 항목을 찾아 먼저 줄여. 눈에 띄지만 작은 항목을 다듬느라 시간을 쓰지 마.