MMLU: 대규모 다중 과제 언어 이해

세계에서 가장 많이 인용되는 LLM 벤치마크

MMLU(대규모 다중 과제 언어 이해)는 Hendrycks 등이 2020년에 발표한 객관식 벤치마크로, 초등 수학부터 전문 법학까지 57개 학술 과목을 다뤄. 문항마다 선택지 4개가 주어지고 모델이 하나를 고르며, 정답률로 점수를 매겨.

MMLU가 중요했던 이유

범위가 넓어 — STEM, 인문학, 사회과학, 경영, 전문 자격시험을 아우르기 때문에 한 분야를 외우는 것만으로 점수를 부풀리기 어려워.
객관식 형식이라 채점 기준이 명확하고 실행하기 쉬워.
주요 모델 연구소가 기본적으로 보고하는 지표로 자리 잡았어.

MMLU가 알려주지 않는 것

추론 능력을 제대로 측정하진 않아. 대부분 지식 회상과 이해를 확인하며, 다단계 추론이 필요한 문항은 거의 없어.
긴 맥락을 이해하는 능력을 측정하지 않아. 문항마다 주어지는 내용은 몇 문장에 불과해.
에이전트형 역량이나 도구 사용, 계획 수립 능력을 측정하지 않아.
제품 품질을 예측하지 못해. MMLU 85%인 모델과 75%인 모델이 특정 RAG 파이프라인에서는 같은 성능을 낼 수도 있어.

원칙: MMLU는 LLM판 SAT와 같아. 전반적인 역량 수준을 대략 가늠하는 데는 유용하지만, 특정 제품의 품질을 예측하는 지표로는 쓸모가 없어.

오염 문제

MMLU는 2020년에 공개됐어. 이후 학습된 주요 모델은 모두 원문이나 비슷하게 바꿔 쓴 문항을 접했을 가능성이 커. 따라서 높은 MMLU 점수가 이해가 아니라 암기를 반영할 수도 있어. 이에 대응해 커뮤니티는 MMLU-Pro처럼 질문이 더 어렵고 선택지가 많은 후속 벤치마크를 만들었지만, 원본 MMLU도 여전히 널리 인용돼.

MMLU-Pro와 후속 벤치마크

MMLU-Pro(Wang et al., 2024)는 선택지 수를 4개에서 10개로 늘리고 다단계 추론을 요구하며, 공개 학습 데이터와의 중복을 줄였어. 2025~2026년의 최신 모델을 비교할 때 원본보다 더 믿을 만한 후속 벤치마크야.

Code

lm-evaluation 도구로 MMLU 실행하기·bash

lm_eval --model hf \
  --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
  --tasks mmlu \
  --num_fewshot 5 \
  --batch_size auto \
  --output_path results/mmlu.json

# Reports per-subject + macro-average accuracy.
# Headline number is usually the macro-average across 57 subjects.

MMLU 문항 예시와 구조·text

Subject: anatomy

Which of the following structures is part of the small intestine?
A) Ascending colon
B) Cecum
C) Sigmoid colon
D) Jejunum

Correct: D

# Multiple-choice format. Model picks the letter. Scored on accuracy.

세계에서 가장 많이 인용되는 LLM 벤치마크

MMLU가 중요했던 이유

MMLU가 알려주지 않는 것

오염 문제

MMLU-Pro와 후속 벤치마크

Code

External links

Exercise

Progress

댓글 0