프롬프트 퇴행 시험

~12 min · evaluation, regression

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

프롬프트에도 CI를 붙여

프롬프트가 소스 관리에 있다면 모든 변경마다 평가 모음이 CI에서 돌아야 해. 병합 관문은 “새 프롬프트가 골든 세트에서 퇴행하지 않는다”야. 이 장치가 없으면 프롬프트가 개발 주기 사이에 표류하고 사용자가 불평할 때까지 품질 변화가 보이지 않아.

강제할 기준

골든 세트 통과율이 기준선보다 낮아지지 않아야 해.
환불, 불만 같은 범주별 통과율이 X% 넘게 떨어지지 않아야 해.
승인 없이 호출당 비용이 Y% 넘게 늘어나지 않아야 해.
p95 지연 시간이 Z% 넘게 나빠지지 않아야 해.

팀의 작업 방식이 달라져

프롬프트 변경 설명에 평가 결과가 들어가.
실패가 검토자 눈에 바로 보이고 묻히지 않아.
골든 세트가 팀이 공유하는 품질의 정의가 돼.

Code

프롬프트 병합을 막는 GitHub 작업·yaml

name: prompt-eval
on: pull_request
jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
      - run: pip install -e .
      - run: python scripts/run_eval.py --golden-set goldens/v3.jsonl --gate

External links

Exercise

모든 프롬프트 변경에 골든 세트 평가를 돌리는 CI 작업을 추가해봐. 퇴행이 있으면 병합을 막고 기준선을 문서로 남겨.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousLLM 판정기 — 쓸 자리와 함정 Next →비용·품질·지연 시간의 삼각형

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.