GSM8K와 수학 추론

문장형 문제가 추론을 측정하는 방식

GSM8K(초등학교 수학 8K)는 2~8단계의 추론이 필요한 초등학교 수학 문장형 문제 8,500개로 구성돼 있어. OpenAI가 2021년에 발표한 뒤 "이 모델이 추론할 수 있는가?"를 확인하는 표준 벤치마크가 됐어.

GSM8K가 측정하는 것

자연어로 제시된 다단계 산술 계산.
수량 조건이 주어진 문장의 독해.
무관한 정보에 흔들리지 않는 견고성 ("톰이 사과 3개를 사고 공원에 가는데...").
단계별 추론 — 역사적으로 점수를 끌어올린 핵심 요인이었어.

사고 과정 사례

GSM8K는 사고 과정(CoT) 기법을 널리 알린 대표적인 벤치마크야. 바로 답하게 했을 때 정확도가 17%였던 모델도 답하기 전에 단계별로 생각하라고 지시하면 50% 이상을 기록했어. 요즘 모델은 대부분 학습 단계에서 CoT를 이미 익히므로, 명시적으로 CoT를 유도하는 프롬프트는 예전만큼 중요하지 않아.

원칙: GSM8K는 다단계 추론을 측정해. 제품에 추론 능력이 필요하다면 MMLU보다 이 벤치마크가 더 관련 있어.

포화와 후속 벤치마크

최첨단 모델의 GSM8K 점수는 이제 90%를 넘어섰어. 그래서 커뮤니티는 다음 벤치마크로 이동하고 있어:

MATH — 경시대회 수준의 수학 문제로, 초등학교 수학보다 훨씬 어려워.
AIME / HMMT — 실제 고등학교 수학 경시대회 문제야.
GSM-Hard — 더 큰 숫자와 까다로운 표현을 사용한 적대적 GSM8K야.
FrontierMath (2024) — 연구 수학자 수준의 문제로, 2025년 최첨단 모델도 여전히 <5%를 기록해.

Code

GSM8K 문제 예시·text

Question:
Natalia sold clips to 48 of her friends in April, and then she sold half
as many clips in May. How many clips did Natalia sell altogether in April
and May?

Answer (chain-of-thought):
Natalia sold 48 clips in April.
In May, she sold half as many: 48 / 2 = 24 clips.
Total: 48 + 24 = 72 clips.

#### 72

# The harness extracts the final number after `####` for scoring.

사고 과정을 사용해 GSM8K 실행하기·bash

lm_eval --model openai-completions \
  --model_args model=gpt-4o-mini \
  --tasks gsm8k_cot \
  --num_fewshot 8 \
  --output_path results/gsm8k.json

# 8-shot CoT prompting is the canonical setting.
# Frontier models score 90%+ on this, so it is mostly a sanity check
# rather than a discriminator anymore.

Exercise

제품에 정량적 추론이 포함된다면 후보 모델에 GSM8K 스타일 문제를 풀게 해. 더 나은 방법은 해당 도메인의 추론 문제 30개를 합성해 평가하는 거야. 실제로 중요한 건 도메인에 맞는 추론이고, 벤치마크 점수는 대리지표일 뿐이야.

문장형 문제가 추론을 측정하는 방식

GSM8K가 측정하는 것

사고 과정 사례

포화와 후속 벤치마크

Code

External links

Exercise

Progress

댓글 0