손에 익은 방식
context 일을 제대로 하면 도서관처럼 되지 쓰레기 매립장처럼 되지 않아. 뭐가 있는지 목록을 유지하고, 지금 일에 필요한 것만 올리고, 손이 안 가게 된 자료는 내리거나 줄여. 1M token이 들어간다고 해도 보통은 채우면 안 되고.
창고가 아니라 지금 쓰는 분량
OS도 모든 파일을 CPU cache에 얹어두진 않아. 지금 쓰는 만큼만 올려두지. AI 워크플로도 똑같아. 전부에는 pointer만 걸어두고, 지금 결정에 필요한 것만 전문으로 올려. pointer는 싸. 경로에 요약에 언제 쓸지 정도면 되니까. 전문은 token으로도, attention으로도, 잡음으로도 비싸고.
목록 자체의 수명
목록은 잘 안 변하는 물건이야. 파일 이름, 요약, 얼마나 최신인지, 언제 올려야 하는지. 자리는 spine이나, session 시작할 때 모형이 읽는 프로젝트 지시문 파일이고. 목록이 turn마다 바뀌면 그건 목록이 아니라 그냥 지금 쓰는 자료 더미야.
목록 먼저. 그다음 올리기. 그다음 일하기. 끝나면 내리기.