나중에 모든 주장의 근거를 따라갈 수 있어야 해
규정 준수, 금융, 고객 지원, 사용자에게 영향을 주는 결정처럼 위험이 큰 출력은 사후에 각 주장을 청크, 도구 결과, 추론 기록의 단계까지 거슬러 올라갈 수 있어야 해. 이 길이 없으면 틀린 답의 원인을 찾지도, 맞는 답을 방어하지도 못해.
세 겹으로 추적 경로 만들기
- 출처 필드 — 모든 출력 객체에 청크 ID와 도구 호출 ID를 담는
sources를 넣어. - 제공업체 인용 — Anthropic Citations처럼 출력 구간을 입력 구간에 직접 연결하는 기능을 써.
- 전체 기록 — 요청, 프롬프트 버전, 모델 버전, 검색 청크, 도구 호출, 응답을 응답 ID와 함께 보관해.
추적 가능성은 나중에 덧붙일 수 없어
프롬프트가 출력 스키마에서 출처를 요구하고, 청크에는 안정적인 ID가 있으며, 도구가 구조화된 인수와 결과를 기록해야 전체 길이 이어져. 처음부터 설계에 넣어. 완성한 뒤 억지로 붙이는 비용은 훨씬 커.