기록 없는 예산은 연극이야
token을 얼마나 썼는지, cache가 얼마나 맞았는지, 답이 잘렸는지, compaction이 언제 돌았는지, output이 얼마나 길었는지 — 안 남기면 그냥 짐작하는 거야. 잘 굴러가는 context 운영은 지루할 만큼 잴 게 많아. session당 token 지출을 처음 그래프로 그려보면, 생각보다 5배 비싼 워크플로를 최소한 하나는 발견하게 돼.
telemetry, 최소한 이건 남겨
오래 도는 작업이면 input token, output token, cached token, model id, 요청 latency, 그리고 checkpoint나 compaction이 돌았는지를 기록해. 그 데이터가 언제 덜어내고 언제 cache 걸고 언제 쪼개고 언제 handoff할지를 알려줘 — session 전체를 다시 돌려보지 않고도.
측정은 작업 옆에 붙어 있어야 해
agent한테 context 지표는 인프라 잡지식이 아니야. 작업 절반쯤에서 왜 갑자기 품질이 달라졌는지를 설명해주는 물건이지. 긴 session이 망가졌을 때 제일 먼저 볼 곳은 대화 기록이 아니라 token 그래프야.