골든 데이터셋

골든 데이터셋이 기준이야

‘골든’ 데이터셋은 각 입력에 분야 전문가, 주석자, 제품 담당자 등이 승인한 참조 출력이 짝지어진 데이터셋이야. 이 참조 답안은 채점기가 결과를 비교할 기준이 돼. 만드는 데 시간과 비용이 많이 들지만 다른 것으로 대체할 수 없어.

데이터셋을 ‘골든’으로 만드는 조건

검증된 참조 답안 — 서로 독립적으로 작업한 두 명 이상의 주석자가 올바른 출력에 동의해야 해. 한 명이 작성한 참조 답안에는 그 사람의 편향이 그대로 반영돼.
경계 사례를 폭넓게 포함 — 쉬운 사례만으로는 부족해. 긴 입력, 적대적 입력, 여러 언어가 섞인 입력, 형식이 달라지는 입력도 포함해야 해.
버전 관리 — 데이터셋을 Git 또는 데이터셋 플랫폼에 등록해 각 사례가 언제, 왜, 누구에 의해 변경됐는지 알 수 있어야 해.
출처 이력 — 각 사례가 운영 로그, 전문가, 합성 생성 중 어디에서 왔는지 알고, 포함한 이유도 설명할 수 있어야 해.

원칙: 골든 데이터셋은 구축 비용이 가장 많이 들고, 나중에 돈을 들여도 쉽게 대체할 수 없는 평가 자산이야. 임시 파일이 아니라 데이터베이스처럼 다뤄.

주석자 간 일치도가 중요해

두 주석자가 사례의 30%에서 ‘올바른’ 답을 두고 의견이 엇갈린다면, 그 골든 데이터셋은 정답이 아니라 사람 사이의 불일치를 측정하는 셈이야. Cohen's kappa 또는 Krippendorff's alpha를 계산해. 일치도가 약 0.7을 밑돌면 과제 정의가 지나치게 모호한 거야. 레이블링을 계속하기 전에 평가 기준표부터 다시 작성해.

데이터 유출을 조심해

골든 모음으로 평가할 모델을 미세 조정할 때 같은 모음을 사용했다면, 그 평가는 의미가 없어. 모델이 답을 외울 수 있기 때문이야. 데이터셋 일부는 학습 과정에 절대 사용하지 않는 별도 보관용 집합으로 유지해. 팀이 데이터셋을 무심코 여기저기 돌려 쓰다 보면 생각보다 지키기 어려운 원칙이야.

Code

골든 데이터셋 항목 — 입력과 참조 답안 그 이상·json

{
  "id": "qa.012",
  "input": "What was the population of Tokyo in 2024?",
  "reference": "Approximately 14 million in the prefecture; 37 million in the wider metropolitan area.",
  "acceptable_alternatives": [
    "~14 million in the city, ~37 million metro",
    "14 million people lived in Tokyo in 2024"
  ],
  "tags": ["qa", "factual", "date-sensitive"],
  "annotators": ["alice", "bob"],
  "agreement": 1.0,
  "source": "production_log",
  "provenance": "sampled 2026-04-15, anonymized",
  "version": 3
}

주석자 간 일치도 확인 — Cohen's kappa·python

from sklearn.metrics import cohen_kappa_score

# Two annotators rate 100 outputs on a binary 'correct or not'
alice = [1, 0, 1, 1, 0, 1, ...]  # length 100
bob   = [1, 0, 1, 0, 0, 1, ...]

kappa = cohen_kappa_score(alice, bob)
print(f"Cohen's kappa = {kappa:.3f}")
# < 0.4 — poor agreement, your task definition is fuzzy
# 0.4-0.6 — moderate, worth tightening rubric
# 0.6-0.8 — substantial, reasonable to label more
# > 0.8 — almost perfect, ready for production