계산하기 쉬운 값이 중요한 값인 경우는 드물어
BLEU, ROUGE, 완전 일치 정확도는 계산이 싸서 LLM 이전 NLP 시대에 널리 쓰였어. 하지만 의미와 도움됨, 뒤 단계의 영향은 잘 잡지 못해. 가장 중요한 지표는 사용자가 하려던 일을 실제로 끝냈는지야.
지표의 네 단계
- 싼 대리값 — 스키마 유효성, 길이, 필수 필드 여부. 필요하지만 충분하지 않아.
- 국소 정확성 — 기준 답과 맞는지, 올바른 출처를 인용했는지 봐.
- 작업 성공 — 뒤 시스템이나 사용자가 목표를 달성했는지 재.
- 사업 결과 — 유지율, NPS, 해결 시간이 움직였는지 봐. 가장 느리고 어렵지만 가장 가치 있어.
단계마다 다른 질문에 답해
CI에는 싼 대리값을, 골든 세트에는 국소 정확성을, 단계적 배포에는 작업 성공을, 큰 투자 판단에는 사업 결과를 써. 서로 다른 질문을 한 숫자로 뭉개지 마.