주석 지침은 평가의 계약이야
'이 출력은 좋은가?'는 주석자가 일관되게 답하기 어려운 질문이야. '이 출력은 50단어 미만의 격식 있는 영어로 작성됐고, 출처를 하나 이상 인용하며, 올바른 답을 제시하는가?'라면 답할 수 있어. 이 차이가 유용한 골든 데이터셋과 판정이 제각각인 사례 모음을 가르지.
좋은 평가 기준표에 들어갈 내용
- 명확한 질문 — 주석자가 답해야 할 질문을 이진값이나 짧은 척도로 표현해.
- 판정 근거가 포함된 예시 — 통과한 출력과 실패한 출력의 판정 결과를 근거와 함께 보여줘.
- 경계 사례 처리 방식 — 빈 출력, 거절, 부분 답변, 주제를 벗어났지만 맞는 답을 어떻게 처리할지 정해.
- 평가 범위 밖의 항목 — 점수에 영향을 주면 안 되는 요소를 명시해.
- 보정 모음 — 모든 주석자가 본 작업 전에 레이블을 붙이는 사례 10~20개를 준비해. 이 사례에 대한 일치도로 평가 기준표를 제대로 이해했는지 확인할 수 있어.
원칙: 두 주석자의 판정이 엇갈린다면 문제는 주석자가 아니라 평가 기준표에 있어. 일치도가 높아질 때까지 다시 써.
데이터셋도 코드처럼 버전 관리해
데이터셋은 계속 변해. 새 사례 추가, 레이블 수정, 경계 사례 도입 등 모든 변경은 이유를 설명하는 커밋으로 남겨야 해. 구성 방식은 세 가지이며 모두 유효해:
- 일반 Git — 저장소 안에 JSONL 파일을 두고 PR로 검토해. 가장 간단하며 사례가 약 1만 개일 때까지 확장할 수 있어.
- DVC / lakeFS — 대규모 데이터셋을 위한 Git 방식의 도구로, 변경 사항 비교 기능도 제공해.
- 플랫폼 관리형 — Braintrust, Hugging Face 데이터셋, Argilla를 사용해. 버전 관리, 관리 화면, 역할 기반 접근 제어를 함께 제공해.
무엇이 바뀌었는지만 말고 왜 바뀌었는지도 추적해
'qa.043 참조 답안 업데이트'는 쓸모없는 커밋 메시지야. 'qa.043 업데이트: 원래 참조 답안이 오래돼서 출처 이력 링크를 따라 도쿄의 2024년 인구 수치로 수정'이라면 유용해. 나중에 회귀 문제를 디버깅할 때 지금 남긴 추적 기록이 큰 도움이 될 거야.