최전선의 문제
LLM 평가는 역사가 짧고 빠르게 발전하는 분야야. 가장 어려운 문제 중 상당수는 여전히 풀리지 않았어. 이런 과제를 이해하면 무엇을 약속할 수 있고 어디까지가 한계인지 솔직하게 설명할 수 있어.
아직 풀리지 않은 8가지 평가 문제
- 창의성 평가 — 시, 참신한 아이디어, 농담에는 어떻게 점수를 매겨야 할까? 타당한 결과가 여럿이고 취향은 주관적인 데다 참조 답안도 없어.
- 추론 평가 — 정답을 냈다고 해서 추론 과정까지 올바른 것은 아니야. 모델은 문제를 이해하지 못하고도 패턴만 맞춰 정답을 낼 수 있어.
- 대규모 안전성 평가 — 적대적 공격은 방어보다 빠르게 진화해. 오늘의 안전성 평가가 내일이면 낡은 스냅숏이 될 수 있어.
- 긴 맥락 평가 — 100만 토큰짜리 입력을 어떻게 체계적으로 테스트해야 할까? 대부분의 벤치마크는 짧고, 긴 맥락에서의 동작은 질적으로 달라.
- 멀티모달 평가 — 텍스트, 이미지, 비디오, 오디오가 섞인 결과를 어떻게 채점해야 할까? 각 양식에 맞는 평가 체계가 필요해.
- 에이전트 평가 — 열린 과제에는 유일한 정답 경로가 없어. "이 47단계 세션은 제대로 진행됐는가?"를 어떻게 점수로 나타낼 수 있을까?
- 메타 평가 — 평가 지표가 실제 품질을 제대로 예측하는지 검증해야 하는 가장 어려운 상위 단계의 문제야.
- 벤치마크 오염 — 공개 벤치마크는 결국 학습 데이터에 유입돼. 벤치마크가 유용하게 유지되는 기간은 점점 짧아지고 있어.
원칙: 이 문제를 모두 해결할 수는 없어. 하지만 평가가 어렵다는 사실과 그럼에도 반드시 평가해야 한다는 점을 이해하면, LLM 기능을 출시하는 대다수 팀보다 한발 앞설 수 있어. 측정할 수 없으면 개선할 수도 없어. 우선 측정부터 시작해.
평가 분야가 향하는 방향
- 더 많은 역량 발굴형 평가 — 단순히 성능을 측정하는 데 그치지 않고 잠재 역량과 위험을 드러내도록 설계해.
- 더 많은 과정 평가 — 최종 결과만 보는 대신 추론과 실행의 전 과정을 채점해.
- 더 많은 지속적 평가 — 운영 환경에서 들어온 요청을 실시간으로 평가 모음에 반영해.
- 더 많은 비공개 홀드아웃 데이터 — 어떤 학습 말뭉치에도 포함되지 않은 데이터를 따로 보관해.
- 더 많은 협업 채점 — 사람, LLM 판정 모델, 분류기를 함께 활용해.
평가를 바라보는 관점
핵심은 "완벽한 지표가 있는가?"가 아니야. "불완전하더라도 정직한 측정값이 있고, 시스템과 함께 그 측정 방식도 계속 개선하고 있는가?"를 물어야 해. 평가는 일회성 산출물이 아니라 지속적인 실천이야. 이를 체화한 팀은 더 빠르게 출시하고, 회귀를 덜 일으키며, 자기 시스템을 더 신뢰할 수 있어.