Cache는 Memory 아니야

Caching은 반복 input 가속

Prompt caching은 이미 처리된 prefix 재사용 도움. 무엇이 중요한지 결정, durable 사실 영원히 저장, 프로젝트 source of truth 업데이트 X. Performance feature지 memory system 아니야. Warm cache가 memory처럼 느껴 — expire하거나 prefix 변하거나 모형 교체될 때까지 — 그러면 환상 사라져.

각 layer 자기 일에

Cache는 반복 static input. Memory는 durable 사실과 사용자 선호. Handoff는 현재 task state. Retrieval은 pointer로 source material. Window는 활성 작업. 헷갈리면 root-cause 분석 패배시키는 방식으로 system이 fragile해져.

Drift 기억해

System이 사실을 'remember'하는 게 cache가 warm해서뿐이면, latent 버그 있어. 맞는 test — cache clear, session restart, 그 사실 surface하나? No면 그 사실은 진짜 home 필요 — durable memory나 명시적 handoff, cached context 만으론 X.

Warm cache가 memory처럼 느껴질 수 있어. Memory 아니야.

Code

Cache vs memory·yaml

context_layers:
  cache:     "reuse stable prefix cheaply"
  memory:    "durable facts and preferences"
  handoff:   "current task state"
  retrieval: "load source material by pointer"
  window:    "active working set"

Cold-start test·text

After any 'remembered' behavior:
  1. Clear or invalidate the cache.
  2. Start a fresh session.
  3. Repeat the prompt.
  4. If the behavior disappears -> that 'memory' was actually cache.
  5. Move it to durable storage if it should survive.

Caching은 반복 input 가속

각 layer 자기 일에

Drift 기억해

Code

External links

Exercise

Progress

댓글 0