MTEB, ARC-AGI, 최전선 벤치마크

알아둘 만한 전문 벤치마크와 최전선 벤치마크

MTEB — 대규모 텍스트 임베딩 벤치마크

MTEB (Muennighoff 2023)는 임베딩 모델을 평가하는 사실상의 표준 벤치마크야. 검색, 분류, 군집화, 의미 유사도, 재순위화에 걸쳐 56개가 넘는 과제를 다뤄. 검색용 임베딩 모델을 고른다면 MTEB를 가장 먼저 참고해.

MTEB에서 확인할 항목:

검색 세부 순위표 — RAG와 가장 관련이 커.
재순위화 — 교차 인코더 재순위 모델을 사용한다면 확인해야 해.
다국어 벤치마크 (MIRACL, MMTEB) — 비영어권 운영 환경에 적용할 때 중요해.

ARC-AGI (Chollet 2019, ARC-AGI-2는 2025년)

각 과제에 입력과 출력 예시 몇 개, 그리고 숨겨진 테스트 입력이 주어지는 추상적 시각 패턴 퍼즐이야. 암기로 풀기 어렵도록 설계됐으며 모든 테스트 항목이 새로운 문제야. 최전선 모델은 2023년에 5~15%를 기록했고, 2025년에는 추론 시점 연산을 광범위하게 활용해 50~87%에 도달했어. 여전히 일반 지능을 가늠하는 의미 있는 최전선 과제로 여겨져.

BIG-Bench Hard

BIG-Bench (Google 2022)는 200개가 넘는 다양한 과제를 모은 벤치마크야. BIG-Bench Hard는 이 가운데 가장 어려운 과제 23개를 묶었어. 익숙하지 않은 여러 문제 유형에서 모델의 역량 범위를 한계까지 시험하는 데 유용해.

FrontierMath

연구 수학자 수준의 문제를 다뤄. 전문 수학자가 문제를 만들고 비공개로 유지해 암기하기 어렵도록 설계됐어. 2025년에도 최첨단 모델의 점수가 <10%에 머물러 있어, 추론 분야에서 아직 포화되지 않은 몇 안 되는 벤치마크야.

원칙: 공개 벤치마크가 포화되면 해당 분야에서는 더 어려운 벤치마크를 만들어. 2026년 평가에 적합한 벤치마크는 아직 정복되지 않은 최전선에 맞는 벤치마크야.

Code

MTEB — 임베딩 모델 고르기·python

# pip install mteb
import mteb
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/e5-large-v2")
tasks = mteb.get_tasks(task_types=["Retrieval"], languages=["eng"])
results = mteb.MTEB(tasks=tasks).run(model, output_folder="results/mteb")

# Each retrieval task reports nDCG@10. Average gives a single comparison number.
# Pick the best model for the retrieval pattern that matches your corpus.

알아둘 만한 전문 벤치마크와 최전선 벤치마크

MTEB — 대규모 텍스트 임베딩 벤치마크

ARC-AGI (Chollet 2019, ARC-AGI-2는 2025년)

BIG-Bench Hard

FrontierMath

Code

External links

Exercise

Progress

댓글 0