순차 베이즈 갱신: 증거를 한 번만 세기

"새 증거가 오면 사후분포를 다음 사전분포로 넘겨. 단, 같은 정보를 새 증거처럼 두 번 세지 않았는지 먼저 확인해."

순차 갱신의 구조

첫 자료 E₁로 갱신한 사후분포를 다음 자료 E₂의 사전분포로 쓸 수 있어. 모형이 같고 자료의 결합가능도를 올바르게 분해했다면 모든 자료를 한꺼번에 분석한 결과와 순서대로 분석한 결과가 같아.

1일차: 사전분포 + E₁의 가능도 → 사후분포 1
2일차: 사후분포 1 + E₂의 조건부 가능도 → 사후분포 2

이 구조는 진단, 예측, 품질관리처럼 자료가 시간에 따라 들어오는 문제에 잘 맞아. 결과를 영원한 최종판결로 두지 않고 새 자료에 따라 갱신할 수 있지.

독립이 아니어도 되지만 의존성을 써야 해

새 자료들이 독립이면 가능도를 곱하는 일이 간단해. 독립이 아니라면 P(E₂ | E₁, H)처럼 앞선 자료를 조건에 넣어야 해. 같은 보도자료를 인용한 기사 열 개를 독립된 증거 열 개로 세거나, 같은 환자의 반복검사를 완전히 독립이라고 두면 확신이 부풀어.

수렴은 자동 보장이 아니야

자료가 충분해지면 서로 다른 사전분포의 영향이 작아지는 경우가 많아. 하지만 진실한 모형이 후보에 없거나, 서로 다른 모수가 같은 관측을 만들거나, 자료수집이 편향됐거나, 진실 근처에 사전확률을 전혀 주지 않았다면 같은 결론으로 수렴하지 않을 수 있어. "정직하게 갱신하면 모두 동의한다"는 문장은 조건을 너무 많이 숨겨.

운영 기술

순차 갱신에서 세 가지를 기록해. 이번 자료가 이전 자료와 어떻게 의존하는지, 어떤 모형 아래에서 가능도를 계산했는지, 같은 정보가 중복되지 않았는지. 사후분포가 강하게 모였다는 사실보다 그 확신을 만든 정보가 정말 독립적이고 모형이 적절한지가 더 중요할 수 있어.

Code

순차 업데이트: 동전-편향 학습·python

import numpy as np

# 동전 던지기 시퀀스에 편향 학습하려고 순차 업데이트.
# 편향 매개변수 p (앞면 확률) 에 대한 균등 prior 로 시작.
# 각 던지기가 믿음 업데이트.

p_grid = np.linspace(0.01, 0.99, 99)   # 고려할 편향 값
prior = np.ones_like(p_grid) / len(p_grid)    # 균등 prior

# 참 동전이 앞면 쪽으로 편향 (p_true = 0.7).
rng = np.random.default_rng(230)
p_true = 0.7

posteriors = [prior.copy()]
for n_flips in (5, 25, 100, 500):
    flips = rng.binomial(n=1, p=p_true, size=n_flips)
    heads = flips.sum()
    tails = n_flips - heads
    # 각 후보 p 가 주어졌을 때 관측 데이터의 likelihood.
    likelihood = p_grid ** heads * (1 - p_grid) ** tails
    posterior = prior * likelihood
    posterior /= posterior.sum()
    mean_estimate = (p_grid * posterior).sum()
    print(f"{n_flips:>4} 던지기 후 ({heads} H / {tails} T): "
          f"p 의 posterior 평균 추정 = {mean_estimate:.4f}")
    prior = posterior   # 다음 라운드의 prior 가 이 라운드의 posterior

print(f"\n참 p = {p_true}")
print("추정이 더 많은 데이터 도착과 함께 참 값으로 수렴하는 것 주목.")
# 균등 prior ('우리가 아무것도 모른다' 라 말함) 로 시작했음에도,
# posterior 가 증거 누적과 함께 참 p 로 수렴.
# 다른 시작 prior 도 결국 같은 답으로 수렴.

Exercise

현재 불확실한 믿음 하나 고르기 (프로젝트의 성공 가능성, 검정 중인 가설, 사람의 성격). 지금까지 누적된 증거 식별. 그러고 나서 순차적으로 업데이트: 어떤 증거 전에도 사전확률 이름 붙이고, 그러고 나서 조각 별로 업데이트. 최종 사후확률 가 gut과 일치하는지 주목. 자주 달라. 규율 잡힌 베이즈 사후확률 가 보통 gut보다 더 신뢰할 만함.

Hint

순차 업데이트가 각 증거 조각에 개별적으로 가중치 할당하게 강제, 그게 가장 최근이나 가장 생생한 항목에 과중치 부여하는 gut 단축을 방지.

순차 갱신의 구조

독립이 아니어도 되지만 의존성을 써야 해

수렴은 자동 보장이 아니야

운영 기술

Code

External links

Exercise

Progress

댓글 0