평가 퀘스트

Tracks

1. 01🎯왜 평가가 중요한가

   0/9 lessons

   감에 의존한 확인에서 재현 가능한 증거로

   ‘느낌상 괜찮네’에서 ‘이 동작을 보호하는 측정값이 여기 있어’로 사고방식을 전환해. 이후 모든 트랙은 이 원칙이 자리 잡았다고 전제하고 시작해.

   Lesson list (9)

   • 01
     감에 의존한 평가의 문제~22 min · evals, quality, fundamentals
   • 02
     LLM에서 평가란 무엇인가~22 min · evals, definitions, fundamentals
   • 03
     평가와 테스트~22 min · evals, testing, ci
   • 04
     평가의 생애 주기~22 min · evals, lifecycle, process
   • 05
     평가의 종류~22 min · evals, taxonomy, fundamentals
   • 06
     무엇을 평가할까~22 min · evals, scope, fundamentals
   • 07
     기준선 문제~22 min · evals, baseline, fundamentals
   • 08
     평가하지 않을 때 치르는 비용~18 min · evals, risk, business
   • 09
     AI 개발 흐름에 평가 통합하기~18 min · evals, workflow, ci

   ✓퀴즈 · 5 문제→

2. 02🗃️데이터셋과 골든 사례

   0/7 lessons

   데이터셋이 이후 모든 평가의 성능 상한을 결정해

   실제 업무를 대표하는 입력을 엄선해야 해. 채점기나 프레임워크, 판정 모델이 아무리 뛰어나도 잘못된 데이터로 만든 평가 모음은 살릴 수 없어.

   Lesson list (7)

   • 01
     평가 데이터셋이란?~22 min · datasets, fundamentals
   • 02
     골든 데이터셋~22 min · datasets, ground-truth, annotation
   • 03
     데이터셋의 크기와 다양성~18 min · datasets, coverage, sampling
   • 04
     합성 평가 데이터 생성~22 min · datasets, synthetic, scale
   • 05
     적대적 사례~22 min · datasets, adversarial, edge-cases
   • 06
     주석 지침과 버전 관리~22 min · datasets, annotation, versioning
   • 07
     저장 형식과 유지 관리~18 min · datasets, infrastructure, ops

   ✓퀴즈 · 5 문제→

3. 03📊결정론적 지표

   0/6 lessons

   가장 먼저 실행해야 할 저렴하고 빠르며 재현 가능한 측정

   완전 일치, BLEU, ROUGE, BERTScore, 정규식, 형식 검증, 종합 점수 같은 지표야. 비용이 많이 드는 LLM 판정 모델을 호출하기 전에 최대한 활용해야 해.

   Lesson list (6)

   • 01
     완전 일치와 포함 여부~18 min · metrics, deterministic, fundamentals
   • 02
     BLEU와 ROUGE~22 min · metrics, deterministic, translation, summarization
   • 03
     BERTScore: 의미 유사도~22 min · metrics, semantic, embeddings
   • 04
     퍼플렉서티, F1, 분류 지표~18 min · metrics, classification, perplexity
   • 05
     정규식과 형식 검증~18 min · metrics, format, structured-output
   • 06
     사용자 정의 지표와 종합 점수~18 min · metrics, composite, weighted

   ✓퀴즈 · 5 문제→

4. 04⚖️LLM 판정 모델

   0/7 lessons

   AI로 AI를 평가하는 힘과 함정

   결정론적 채점기로는 답하기 어려운 질문도 LLM 판정 모델은 평가할 수 있어. 하지만 판정 모델에는 편향, 비용, 보정 문제가 따라와. 이 트랙에서는 판정 모델을 제대로 활용하면서도 그 판단에 휘둘리지 않는 법을 배워.

   Lesson list (7)

   • 01
     개념: AI로 AI 평가하기~22 min · judges, llm-as-judge, fundamentals
   • 02
     판정 모델 프롬프트 설계~22 min · judges, prompt-engineering
   • 03
     개별 평가와 쌍대 비교 평가~18 min · judges, comparison, calibration
   • 04
     참조 답안 기반 평가와 참조 답안이 없는 평가~18 min · judges, reference
   • 05
     다기준 평가~18 min · judges, multi-axis
   • 06
     판정 모델의 편향과 보정~22 min · judges, bias, calibration
   • 07
     판정 모델 호출 비용 관리~18 min · judges, cost, ops

   ✓퀴즈 · 5 문제→

5. 05🔧프레임워크와 플랫폼

   0/7 lessons

   promptfoo, DeepEval, Braintrust, lm-evaluation-harness, RAGAS, Inspect AI

   운영 환경에서 실제로 활용할 도구들이야. 저마다 잘 맞는 상황이 있으니 브랜드가 아니라 해결할 일에 맞춰 골라.

   Lesson list (7)

   • 01
     promptfoo: CLI 중심 평가 실행 도구~22 min · frameworks, promptfoo, cli
   • 02
     DeepEval: pytest 기반 Python 프레임워크~22 min · frameworks, deepeval, pytest, python
   • 03
     Braintrust: 관측 가능성과 평가 플랫폼~22 min · frameworks, braintrust, observability, platform
   • 04
     lm-evaluation-harness (EleutherAI)~18 min · frameworks, lm-eval-harness, benchmarks
   • 05
     RAGAS: RAG 특화 평가~22 min · frameworks, ragas, rag
   • 06
     Inspect AI: 에이전트 및 안전성 평가~18 min · frameworks, inspect-ai, agents, safety
   • 07
     프레임워크 선택 가이드~18 min · frameworks, selection, decision

   ✓퀴즈 · 5 문제→

6. 06🏆공개 벤치마크

   0/7 lessons

   순위표를 맹신하지 않고 읽는 법

   MMLU, HumanEval, GSM8K, HellaSwag, 챗봇 Arena, MTEB, ARC-AGI를 살펴봐. 각 벤치마크가 무엇을 측정하고 언제 오해를 부르는지, 제품 평가와 혼동하지 않으면서 모델 선택에 어떻게 활용할지 알아보자.

   Lesson list (7)

   • 01
     MMLU: 대규모 다중 과제 언어 이해~18 min · benchmarks, mmlu, knowledge
   • 02
     코드 벤치마크: HumanEval, MBPP, SWE-bench~18 min · benchmarks, code, humaneval, swe-bench
   • 03
     GSM8K와 수학 추론~18 min · benchmarks, gsm8k, math, reasoning
   • 04
     HellaSwag와 TruthfulQA~18 min · benchmarks, hellaswag, truthfulqa, common-sense
   • 05
     챗봇 Arena와 MT-Bench~18 min · benchmarks, arena, mt-bench, human-eval
   • 06
     MTEB, ARC-AGI, 최전선 벤치마크~18 min · benchmarks, mteb, arc-agi, embeddings
   • 07
     벤치마크의 한계와 자체 벤치마크~18 min · benchmarks, limitations, custom

   ✓퀴즈 · 5 문제→

7. 07🔬시스템과 에이전트 평가

   0/6 lessons

   단일 호출을 넘어 전체 파이프라인 평가하기

   RAG, 에이전트, 챗봇, 코드 도우미, 운영 환경 A/B 테스트, 회귀 평가 모음을 다뤄. 실제 시스템은 파이프라인이니 평가도 그래야 해.

   Lesson list (6)

   • 01
     RAG 평가~22 min · systems, rag, retrieval
   • 02
     에이전트 평가~22 min · systems, agents, tools, trajectories
   • 03
     챗봇과 대화 평가~18 min · systems, chatbot, multi-turn
   • 04
     코드 생성 평가~18 min · systems, code, execution
   • 05
     온라인 평가: 운영 환경에서의 A/B 테스트~18 min · systems, ab-testing, production
   • 06
     회귀 테스트와 평가·개선 주기~18 min · systems, regression, ci

   ✓퀴즈 · 5 문제→

8. 08🛡️안전성과 운영

   0/6 lessons

   레드팀 평가, 보정, 비용 대비 품질, 평가 문화 정착시키기

   평가가 보안, 신뢰성, 비용 규율 같은 회사의 다른 영역과 만나는 지점, 그리고 이 모든 관행을 팀에 정착시키는 방법을 다뤄.

   Lesson list (6)

   • 01
     레드팀 평가~22 min · safety, red-team, adversarial
   • 02
     일관성과 보정~18 min · safety, consistency, calibration
   • 03
     편향과 환각 탐지~22 min · safety, bias, hallucination
   • 04
     비용-품질 절충 분석~18 min · safety, cost, tradeoff, routing
   • 05
     메타 평가와 평가 문화 만들기~18 min · safety, meta-eval, culture, team
   • 06
     LLM 평가의 미해결 과제~18 min · safety, research, frontier

   ✓퀴즈 · 5 문제→