Stream

Lesson 05 of 10 · published

검증기가 이끄는 추론

~18 min · reasoning, verification

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

추론은 생성이고 검증은 대조야

모델의 추론 경로도 결국 LLM이 만든 출력이야. 자신만만하게 들려도 늘 맞는 건 아니지. 검증기는 계산기, 단위 시험, 스키마 검사기, 근거 검색처럼 모델 밖의 기준에 추론 결과를 대조하는 두 번째 단계야.

쓸 만한 검증기

코드 실행 — 수학 문제를 코드로 풀게 한 뒤 실제로 실행해 결과를 확인해.
스키마 검사 — JSON 출력이 Pydantic이나 Zod 규칙을 통과하는지 봐.
검색 검증 — 모델이 낸 사실 주장을 검색 도구로 확인해.
자기 비평 — 두 번째 LLM 호출에 첫 응답의 오류를 찾게 해.

생성하고, 검증하고, 다시 생성해

먼저 생성하고 검증해. 검증기가 거절하면 그 이유를 피드백으로 넣어 다시 생성해. 이 반복은 에이전트, 코드 실행 도구, 구조화 출력 재시도의 바탕이야. 검증기와 맞물린 프롬프트에 익숙해지면 위험한 작업에서 LLM의 첫 답을 그대로 믿지 않게 돼.

Code

생성 → 검증 → 재생성·python

for attempt in range(3):
    out = generate(prompt)
    error = verify(out)        # returns None on success
    if error is None:
        return out
    prompt = f"{prompt}\n\nPrior attempt failed verification:\n{out}\nError: {error}\nFix and retry."
raise RuntimeError("verification failed after 3 attempts")

External links

Exercise

구조화 출력을 내는 프롬프트 하나에 검증기를 붙여봐. 실패하면 생성 → 검증 → 재생성을 최대 세 번 반복하고, 두 번째 시도에서 성공하는 비율을 재.

Progress

Progress is local-only — sign in to sync across devices.

← Previous추론과 출력 — 둘을 분리해 Next →추론 압축 — 필요 없는 생각은 시키지 마

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

댓글 0

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.