Bayes 규칙: 믿음 갱신

등식

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$

크게 읽기: "B 가 주어진 A 의 확률 = A 가 주어진 B 의 확률 × A 확률 / B 확률." 그게 Bayes 규칙. B 관측 시 A 에 대한 믿음을 어떻게 갱신 하는지.

멘탈 모델

• Prior $P(A)$ — 증거 보기 전 A 에 대한 믿음.
• Likelihood $P(B\mid A)$ — A 가 참이라 가정 시 증거 B 얼마나 likely.
• Posterior $P(A\mid B)$ — B 본 후 A 에 대한 갱신된 믿음.
• Evidence $P(B)$ — 확률 합 1 보장하는 정규화.

고전 직관 반대 예시

인구의 1% 가 질병. 검사 정확도 99% (99% true positive, 99% true negative). 양성. 실제 질병 확률?

대부분 99% 추측. Bayes 가 ~50% 라 함. 이유: prior 가 1% — 질병 드물어 — false-positive (1%) 가 99% 건강한 사람에 적용되면 99% true positive 가 진짜 양성에서 만드는 만큼 false positive 만듦. 낮은 prior 에서 갱신엔 직감보다 더 많은 증거 필요.

ML 의 Bayes

• Naive Bayes 분류기 — 독립 가정으로 Bayes 직접 적용.
• Bayesian 신경망 — weight 를 분포로 다루고 데이터로 갱신.
• Variational inference — 다루기 어려운 posterior 를 더 단순한 분포로 근사.
• RLHF / DPO — 모던 LLM 학습이 prior 정책을 사람 선호 정렬된 posterior 로 갱신.