챗봇 Arena와 MT-Bench

실제 사용자가 체감하는 품질과 관련이 깊은 벤치마크

객관식 벤치마크는 제한된 역량만 측정해. 하지만 실제 사용자는 정답이 정해져 있지 않은 대화의 품질도 중요하게 생각하지. 다음 두 벤치마크가 이 간극을 메워 줘.

챗봇 Arena (LMSYS, 2023년~현재)

사용자 참여형 쌍대 비교 벤치마크야. 사용자가 익명 모델 두 개의 출력을 보고 더 나은 쪽에 투표하면, 수백만 건의 투표를 바탕으로 Elo 순위가 정해져. 공개 벤치마크 중 실제 사용자의 평가에 가장 가까워. lmarena.ai에서 계속 갱신돼.

효과적인 이유:

실제 사용자가 입력한 다양한 프롬프트를 사용해 — 고정된 벤치마크보다 실제 제품 환경의 분포에 가까워.
쌍대 비교를 사용하므로 평가자마다 점수 기준을 따로 맞춰야 하는 부담이 줄어.
Elo 집계는 평가자의 성향이 다양해도 비교적 안정적이야.
계속 갱신되므로 데이터 오염이 훨씬 어려워.

한계:

영어와 일상 대화에 치우쳐 있어.
투표자가 도메인 전문가는 아니므로 미묘한 사실 오류를 놓칠 수 있어.
일부 카테고리(코딩, 긴 문맥, 추론)는 별도의 세부 순위표가 있지만, 종합 Elo에서는 이런 차이가 희석돼.

MT-Bench (Zheng et al. 2023)

글쓰기, 추론, 수학, 코딩, 추출, STEM, 인문학, 역할극의 8개 카테고리로 구성된 80개의 다중 턴 개방형 질문이야. LLM 판정 모델(보통 GPT-4)이 각 응답에 1~10점의 점수를 매겨. 지금은 대부분 Arena에 자리를 내줬지만, 논문에서는 여전히 사용돼.

원칙: 챗봇 Arena는 공개 벤치마크 중 "사용자가 실제로 체감하는 품질"에 가장 가까워. 기본적인 모델 선택 신호로 활용하고, 제품별 평가로 다시 검증해.

Code

Arena 순위 읽기·text

# Visit https://lmarena.ai/?leaderboard
#
# Filter by category for a more useful read:
#   Overall — general chat (English-skewed)
#   Hard Prompts — adversarial / niche prompts (better discriminator)
#   Coding — code-specific Elo
#   Math — multi-step reasoning Elo
#   Vision — multimodal Elo
#
# A 50-Elo gap is roughly the threshold where users notice differences.
# A 100-Elo gap is conspicuous quality difference.

자체 쌍대 비교와 Elo 평가 만들기·python

import math

def update_elo(winner_rating, loser_rating, k=32):
    expected = 1 / (1 + 10 ** ((loser_rating - winner_rating) / 400))
    return (
        winner_rating + k * (1 - expected),
        loser_rating - k * (1 - expected),
    )

ratings = {"model_a": 1500, "model_b": 1500, "model_c": 1500}

for judgment in pairwise_judgments:  # list of (winner_id, loser_id)
    w, l = judgment
    new_w, new_l = update_elo(ratings[w], ratings[l])
    ratings[w], ratings[l] = new_w, new_l

# After enough comparisons, ratings converge to a stable ranking.
# Same math the Arena uses, just on your own dataset and judges.

실제 사용자가 체감하는 품질과 관련이 깊은 벤치마크

챗봇 Arena (LMSYS, 2023년~현재)

MT-Bench (Zheng et al. 2023)

Code

External links

Exercise

Progress

댓글 0