조사할 자료는 필요하지만 전부 남길 수는 없어
기록은 디버깅, 평가 사례 발굴, 규정 준수에 필요해. 하지만 사용자 원문에는 개인정보, 규제 대상 내용, 실수로 붙인 비밀이 있을 수 있어. 조사할 만큼은 남기되 정책이 허용한 것 이상은 보관하지 않는 규율이 필요해.
남길 항목
- 프롬프트 버전, 모델, 샘플러 매개변수는 항상.
- 범주별 토큰 사용량도 항상.
- 사용자 입력은 민감정보를 가리고 정책에 따라 보통 1~90일만.
- 도구 호출과 반환값도 같은 가림 규칙으로.
- 모델 출력도 같은 규칙으로.
- 어떤 검증기와 필터가 표시했는지는 항상.
기록 전에 가리고 단계별로 보관해
- 정규식과 분류기로 이메일, 전화번호, 주민번호, 신용카드를 기록 전에 걷어내.
- 개수와 범주 표시는 오래 남기고 원문은 짧게 남겨.
- 예를 들어 전체 글 7일, 가린 글 30일, 집계값은 장기로 나눠.