상식과 진실성을 다루는, 범위는 좁지만 유용한 두 벤치마크
HellaSwag (Zellers 2019) — 상식적으로 이어질 내용 고르기
모델이 짧은 문단 뒤에 이어질 가장 그럴듯한 내용을 고르는 객관식 문항 10,000개로 구성돼 있어. 문항마다 결말 선택지 4개가 있고, 그중 3개는 모델을 헷갈리게 만든 오답 선택지야. 인간이 당연하게 여기는 세상에 대한 상식을 측정해.
MMLU와 마찬가지로 HellaSwag도 이제 최첨단 모델에서 90%를 넘으며 포화됐어. 상식 수준을 점검하는 기준선으로는 유용하지만, 모델을 구분하는 지표로는 부족해.
TruthfulQA (Lin 2021) — 널리 알려진 오개념 점검
흔한 오개념을 끌어내도록 설계된 질문 817개로 구성돼 있어. 예를 들면 "손가락 마디를 자주 꺾으면 관절염이 생길까?" 같은 질문이야. 모델이 학습 데이터에 흔히 등장하는 "널리 믿지만 틀린 답"을 그대로 되풀이하는지, 아니면 정확하게 "아니요, 그건 속설이에요"라고 답하는지 측정해.
채점 방식은 두 가지야. MC1은 가장 좋은 답 하나를 고르고, MC2는 여러 답의 순위를 평가해. 최첨단 모델에도 여전히 어려운 벤치마크로, TruthfulQA 점수는 60~75% 범위여서 포화와는 거리가 멀어.
원칙: HellaSwag는 상식을, TruthfulQA는 암기한 오개념에 흔들리지 않는 능력을 측정해. 둘 다 범위가 좁은 점검 도구이며, 제품 전반의 품질을 대신 보여주지는 않아.
2026년에는 어떻게 해석할까
- HellaSwag — 2026년 모델이 88% 미만이라면 무언가 잘못된 거야. 그 이상에서는 점수 차이가 주는 정보가 거의 없어.
- TruthfulQA — 아직 모델을 구분해 줘. 점수가 65%에서 75%로 오른다면 의미 있는 향상이야. 의료, 법률, 사실 기반 QA처럼 진실성이 중요할 때 추적할 만해.