Stream

Lesson 09 of 10 · published

추론 결과의 확신을 보정하기

~14 min · reasoning, confidence, calibration

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

모델의 말투는 정답 여부와 잘 맞지 않아

따로 보정하지 않으면 모델은 맞는 답에도 틀린 답에도 "I'm sure"라고 말할 수 있어. 사람은 AI가 보이는 확신을 신호로 받아들이기 때문에 뒤 단계에서 위험해져. 보정은 모델이 보고한 확신과 실제 정확도가 서로 맞도록 만드는 일이야.

확신을 재는 세 가지 방법

스스로 확률 보고하기 — “확신을 0~1 사이 값과 근거로 써”라고 해. 유용하지만 거친 값이야.
불확실성을 말로 구분하기 — 답이 근거로 확인됐는지, 추론한 것인지, 모르는 것인지 표시하게 해. 숫자보다 쓸모 있을 때가 많아.
여러 표본의 투표 — N개 답을 뽑아 서로 동의하지 않는 정도를 불확실성 신호로 써. 자기 보고보다 안정적이야.

확신은 화면보다 분기에 써

확신이 정한 문턱보다 낮으면 사람 검토, 더 강한 모델, 추가 검색, 거절 가운데 하나로 보내. 보정되지 않은 숫자를 사용자에게 그대로 보여주기보다 다음 행동을 고르는 신호로 쓰는 편이 낫다.

Code

확신에 따라 나누는 처리 흐름·python

out = call_model(req)
if out.confidence < 0.7:
    out = call_stronger_model(req)
if out.confidence < 0.5:
    queue_for_human_review(req, out)
return out

External links

Anthropic — 불확실성을 말로 밝혀 환각 줄이기

Exercise

프롬프트에 ‘근거로 확인됨 / 추론함 / 모름’ 세 단계의 불확실성 표시를 넣어봐. 입력 쉰 개에서 실제 정확도가 이 순서대로 낮아지는지 재. 그 상관관계가 보정이 작동한다는 증거야.

Progress

Progress is local-only — sign in to sync across devices.

← Previous추론 연극의 함정 Next →잘못된 추론 디버깅 — 기록을 읽어

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

댓글 0

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.