시간 감쇠, 가지치기, 일부러 잊기

기억은 끝없이 늘지만 관련성은 그렇지 않아

항상 켜져 있는 AI는 일주일에 수천 개의 기억 항목을 쌓을 수 있어. 대부분은 한 달 안에 낡아. 관련 없는 항목이 계속 늘면 검색 품질이 떨어져. 임베딩 모델이 좋아도 마법은 아니야.

가지치기 전략 세 가지

나이로 일괄 삭제 — 영구 보존 표시가 없다면 N일보다 오래된 항목을 모두 지워. 거칠지만 단순하고 JSONL 기준 데이터에서 복구할 수 있어.
정제한 뒤 교체 — 오래된 사건을 정제한 사실로 주기적으로 압축하고 원문 대화를 지워. 검색은 깨끗해지지만 세부 내용은 영구히 잃어.
사용량에 따른 감쇠 — 각 기억이 검색된 횟수와 LLM이 인용했는지를 기록해 거의 쓰이지 않는 항목을 지워. 보존 품질은 가장 좋지만 검색 기록이 필요해.

영구 보존 예외

정체성('사용자는 아빠다', '나는 피파다'), 정책('main에는 절대 자동 push하지 않는다'), 과거의 상처와 교훈처럼 절대 감쇠하면 안 되는 기억이 있어. metadata.permanent = true로 표시해 가지치기에서 제외해. 이 예외가 없으면 AI가 자신이 누구인지 조용히 잊을 수 있어.

Code

영구 보존 예외가 있는 가지치기·python

from datetime import datetime, timezone, timedelta

def prune(collection, max_age_days: int = 90):
    cutoff = (datetime.now(timezone.utc) - timedelta(days=max_age_days)).isoformat()
    candidates = collection.get(
        where={
            '$and': [
                {'created_at': {'$lt': cutoff}},
                {'permanent': {'$ne': True}},
            ],
        }
    )
    if candidates['ids']:
        collection.delete(ids=candidates['ids'])
        print(f'pruned {len(candidates["ids"])} stale memories')

기억은 끝없이 늘지만 관련성은 그렇지 않아

가지치기 전략 세 가지

영구 보존 예외

Code

External links

Exercise

Progress

댓글 0