p-value가 말하는 것과 말하지 않는 것

"p-value는 가설의 확률이 아니야. 귀무가설과 검정 모형을 가정했을 때, 선택한 통계량이 얼마나 극단적인지 나타내는 값이야."

정의

p-value는 귀무가설 H₀와 검정의 다른 가정들이 성립한다고 놓았을 때, 선택한 검정통계량이 관측값만큼 또는 그보다 더 극단적일 확률이야.

p-value = P(T가 관측값만큼 또는 더 극단적 | H₀와 모형 가정)

여기서 '더 극단적'의 방향은 단측검정인지 양측검정인지, 어떤 검정통계량을 골랐는지에 따라 달라져. p-value가 작을수록 자료와 H₀의 조합이 더 긴장된다고 볼 수 있지만, 모형 오지정이나 선택적 분석도 작은 값을 만들 수 있어.

말하지 않는 것

p=0.03은 H₀가 참일 확률이 3%라는 뜻이 아니야. H₀와 H₁의 사후확률을 구하려면 두 가설 아래의 자료모형, 사전확률, 비교 범위가 필요해. p-value 하나만으로는 그 계산을 할 수 없어.

p-value는 효과 크기, 실질적 중요성, 재현확률도 직접 알려주지 않아. 큰 표본의 작은 효과는 아주 작은 p-value를 낼 수 있고, 작은 표본의 중요한 효과는 큰 p-value를 낼 수 있어.

유의수준과 구분해

α는 데이터를 보기 전에 정하는 의사결정 기준이고, p-value는 데이터에서 계산해. p≤0.05라면 "귀무가설이 참일 때 이런 데이터가 5% 이하의 확률로 나온다"고 단순화하기보다, 선택한 통계량의 꼬리확률이 0.05 이하라고 말하는 편이 정확해.

유의성은 진실과 거짓의 경계선이 아니야. p=0.049와 p=0.051은 증거의 강도가 거의 같을 수 있어. 연속적인 값을 임계값 하나로 둘로 나누면 정보가 사라져.

가지고 갈 세 가지

p-value를 읽을 때는 H₀, 검정통계량, 단측·양측 방향, 표본설계, 효과 크기와 구간추정을 함께 봐. 가설의 사후확률이나 재현가능성으로 바꾸지 말고, 하나의 모형 점검 신호로 사용해.

Code

참 귀무 하 p-value: 노이즈 바닥·python

import numpy as np
from math import erf, sqrt
rng = np.random.default_rng(130)

# 귀무가설 하에서 p-value 가 균등분포함을 보임.
# 실제 효과 없는 100,000 개 '실험' 시뮬 (p_true = 0.5).
# 각각에 대해 1-샘플 z-검정 p-value 계산.
# 귀무 하에서 p-value 가 [0, 1] 위에 대략 균등.

N = 200
M = 100_000
p_true = 0.5     # 귀무가 정확히 참

flips = rng.binomial(n=1, p=p_true, size=(M, N))
p_hat = flips.mean(axis=1)
z = (p_hat - 0.5) / np.sqrt(0.5 * 0.5 / N)

# |z| 에서 양측 p-value.
p_values = np.array([2 * 0.5 * (1 - erf(abs(zi) / sqrt(2))) for zi in z])

for threshold in (0.05, 0.01, 0.001):
    fraction_significant = (p_values < threshold).mean()
    print(f"P(p < {threshold:.3f}) 참 귀무 하: {fraction_significant:.4f}  "
          f"(예상: {threshold:.4f})")

# 참 귀무 하, ~5% 실험이 우연으로 여전히 p < 0.05 받음.
# 그 5% 가 Type I 오류율, alpha 임계에 박혀 있음.
# 교훈: 단일 p < 0.05 는 강한 증거가 아니야 — 노이즈 바닥.

Exercise

p-value를 인용한 논문이나 기사를 하나 찾아 H₀, 검정통계량, 단측·양측 여부, p-value, 효과 크기, 신뢰구간을 표로 정리해. 기사 문장이 p-value를 가설의 확률이나 효과의 중요성으로 바꾸는지도 확인해.

Hint

"H₀ 아래에서 데이터가 나올 확률"이라고만 쓰지 말고, 관측값만큼 또는 더 극단적인 검정통계량의 꼬리확률이라고 써.

정의

말하지 않는 것

유의수준과 구분해

가지고 갈 세 가지

Code

External links

Exercise

Progress

댓글 0