Context 단서용 Tool-Call Trace 읽기

tool 호출 기록은 진단의 금맥이야

동작이 알 수 없이 이상할 때, tool 호출 기록이 답을 알려주는 경우가 많아. 모형이 이번 session에서 read("file_X")를 세 번 불렀다면 file_X가 실제로 쓰이고 있었다는 뜻이야. read("file_Y")를 한 번도 안 불렀다면 file_Y는 작업 context에 없었다는 뜻이고 — 네가 얘기를 했든 안 했든 상관없이. 기록에 남은 패턴은 모형이 실제로 어디에 attention을 줬는지를 드러내. 줬기를 바랐던 데가 아니라.

안 불린 호출을 봐

기록에서 제일 쓸모 있는 관찰은 보통 *안 불린* tool이야. 규칙이 'commit 전에 항상 검증'인데 commit 앞에 run_tests 호출이 없으면, 그 규칙은 소리 없이 실패한 거야. 호출이 있는 건 정상이고, 없는 게 버그야.

눈여겨볼 패턴들

같은 파일을 반복해서 읽는다면 지금 올려둔 분량이 너무 작거나 너무 공격적으로 내려보내고 있는 거야. retrieval 호출이 줄줄이 이어진다면 어디로 보낼지 정하는 논리가 망가진 거고. 복잡한 일인데 tool을 하나도 안 불렀다면 모형이 원래 알던 걸로 지어내고 있는 거지. 패턴마다 손봐야 할 데가 달라.

Code

기록 요약 모양·json

{
  "session_id": "...",
  "tool_calls": [
    {"tool": "read", "args": {"path": "backend/auth.py"}, "turn": 3},
    {"tool": "read", "args": {"path": "backend/auth.py"}, "turn": 7},
    {"tool": "read", "args": {"path": "backend/auth.py"}, "turn": 14}
  ],
  "never_called": ["run_tests", "git_status"]
}

기록 점검 prompt·text

Looking only at the tool-call trace from this session:
  - Which files were loaded most often?
  - Which expected calls never happened?
  - Which calls cascaded together (pattern)?
Use these observations to diagnose where context attention concentrated and where it failed.

tool 호출 기록은 진단의 금맥이야

안 불린 호출을 봐

눈여겨볼 패턴들

Code

External links

Exercise

Progress

댓글 0