C.W.K.
Stream
Lesson 05 of 05 · published

측정 루프

~23 min · logging, telemetry, budget

Level 0Window Watcher
0 XP0/50 lessons0/13 achievements
0/100 XP to next level100 XP to go0% complete

Log 없는 budget은 연극

token 사용량, cache hit, truncation, compaction event, output 길이 안 log하면 추측하는 거야. 좋은 context operation은 지루할 만큼 측정 가능해. session당 token 지출을 처음 graph로 그려보면 생각보다 5배 비싼 워크플로 적어도 하나는 발견한다.

최소 telemetry 계약

모든 long run은 input token, output token, cached token, model id, request latency, checkpoint/compaction 발생 여부 기록해야 해. 그 데이터가 trim/cache/split/handoff 시점을 — 전체 session 다시 안 돌리고 — 알려준다.

Telemetry는 작업 옆에 살아야

agent에겐 context metric이 인프라 trivia가 아니야. task 절반에서 quality가 바뀐 이유를 설명한다. long session 망가졌을 때 처음 볼 곳은 chat history가 아니라 token graph야.

Code

Telemetry 계약·typescript
type ContextTelemetry = {
  model: string;
  inputTokens: number;
  outputTokens: number;
  cachedTokens: number;
  reasoningTokens?: number;
  latencyMs: number;
  compacted: boolean;
  checkpointId?: string;
  prefixVersion?: string;
};
turn당 log line·json
{
  "turn": 47,
  "model": "claude-sonnet-4-7",
  "inputTokens": 38420,
  "cachedTokens": 32100,
  "outputTokens": 1820,
  "latencyMs": 4321,
  "cacheHitRatio": 0.835,
  "prefixVersion": "rules-v3"
}

External links

Exercise

AI 앱이나 coding-agent 워크플로용 context telemetry row 설계. 6개 이상 field, checkpoint 시점 결정 도와주는 field 1개 포함.
Hint
'context_used_pct' field가 좋은 human-facing signal. 'turns_since_last_checkpoint'도.

Progress

Progress is local-only — sign in to sync across devices.
이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

댓글 0

🔔 답글 알림 (로그인 필요)
로그인댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.