~12 min · summarization, memory, compression
오래 이어지는 채팅에서 모든 턴을 계속 보내면 비용과 집중 부담이 함께 커져. 오래된 구간을 압축된 도우미 메모로 바꾸고 최근 턴은 원문으로 남기면 필요한 사실을 유지하면서 토큰을 줄일 수 있어.
좋은 요약은 사용자가 밝힌 사실, 명시한 선호, 아직 끝나지 않은 작업, 함께 도달한 결론을 보존해. 인사와 잡담, 모델의 반복 사과는 대개 버려도 돼. 요약 프롬프트에 보존 항목을 구체적으로 적어야 압축기가 중요도를 제멋대로 정하지 않아.
압축할 때마다 세부와 확실성이 조금씩 사라져. 전체를 같은 세기로 요약하지 말고 최근 N개 턴은 원문, 중간 구간은 가벼운 요약, 가장 오래된 구간은 강한 요약으로 층을 나눠. 중요한 원본은 외부 기록에 그대로 남겨야 해.
VERBATIM = 8
SUMMARIZED = 24
def tiered(history: list[dict]) -> list[dict]:
if len(history) <= VERBATIM:
return history
recent = history[-VERBATIM:]
middle = history[-(VERBATIM + SUMMARIZED):-VERBATIM]
older = history[:-(VERBATIM + SUMMARIZED)] if len(history) > VERBATIM + SUMMARIZED else []
middle_summary = summarize(middle, depth="light") if middle else ""
older_summary = summarize(older, depth="heavy") if older else ""
notes = []
if older_summary:
notes.append({"role": "user", "content": f"<early_summary depth='heavy'>{older_summary}</early_summary>"})
if middle_summary:
notes.append({"role": "user", "content": f"<recent_summary depth='light'>{middle_summary}</recent_summary>"})
return notes + recent아직 댓글이 없어요. 첫 댓글을 남겨보세요.