p-hacking과 다중비교

"검정을 많이 해 놓고 작은 p-value만 골라 보고하면, 명목상 0.05라는 기준이 전체 탐색의 거짓양성률을 지켜 주지 못해."

메커니즘

각 검정이 참인 H₀ 아래에서 제1종 오류율 5%를 갖고 서로 독립이라면, 20개 검정에서 거짓양성의 기대 개수는 1개야. 적어도 하나가 나올 확률은 1−0.95²⁰ ≈ 64%고. 실제 검정들이 의존하면 정확한 값은 달라지지만, 선택 과정을 숨기면 작은 p-value가 실제보다 강해 보인다는 문제는 남아.

p-hacking은 분석 선택을 반복하거나 결과를 본 뒤 바꾸고, 유리한 결과만 보고하는 관행을 말해. 의도적인 조작일 수도 있고, 연구자가 많은 합리적인 선택지 중 하나를 고르는 과정에서 비의도적으로 생길 수도 있어.

흔한 형태

여러 결과지표와 하위집단을 시험한 뒤 유의한 것만 보고해.
공변량, 이상값 제외, 변환 방법을 바꿔가며 원하는 결과가 나오는 명세를 골라.
중간 결과를 반복해서 보고 유의해지는 순간 자료수집을 멈춰.
가설과 분석계획을 결과를 본 뒤 처음부터 정한 것처럼 제시해.

어떻게 통제하나

가족별 오류율을 통제하려면 Bonferroni처럼 각 검정의 임계값을 α/M으로 낮출 수 있어. 20개 검정에서 전체 α=0.05를 목표로 하면 각 검정 기준은 0.0025가 돼. Benjamini-Hochberg 절차는 발견들 가운데 기대되는 거짓발견의 비율을 통제하는 다른 목표를 가져. 어떤 보정이 맞는지는 질문과 오류 비용에 달려 있어.

사전등록은 자료를 보기 전에 가설과 주요 분석을 기록해 확증적 분석과 탐색적 분석을 구분하게 해. 탐색적 분석도 가치가 있지만, 새 자료에서 확인하거나 탐색이라는 꼬리표를 붙여야 해. 사전등록만으로 부실한 설계나 선택적 미보고가 자동으로 사라지지는 않아.

시민의 점검

작은 p-value 하나를 보면 그 값이 나오기까지 몇 개의 결과·하위집단·모형·중간분석을 살폈는지 물어봐. 보고된 한 검정만으로는 전체 선택 과정을 알 수 없어. 전체 분석계획과 보정, 확인자료가 증거의 무게를 결정해.

Code

다중 검정 하 false-positive 인플레이션·python

import numpy as np
from math import erf, sqrt
rng = np.random.default_rng(140)

# 참 귀무 하 충분한 검정으로 '유의' 가 거의 어딘가에서 보장되는 걸 보임
# — 순 우연, 실제 효과 없음.

N_per_test = 200
M_tests_per_experiment = 20
M_experiments = 5_000
p_true = 0.5     # 귀무가 어디서나 참

# 추적: 20 검정의 각 실험에서, 적어도 하나가 p<0.05 받는 빈도?
hit_rate_at_alpha_05 = 0
for _ in range(M_experiments):
    significant = False
    for _ in range(M_tests_per_experiment):
        flips = rng.binomial(n=1, p=p_true, size=N_per_test)
        p_hat = flips.mean()
        z = (p_hat - 0.5) / np.sqrt(0.5 * 0.5 / N_per_test)
        p_val = 2 * 0.5 * (1 - erf(abs(z) / sqrt(2)))
        if p_val < 0.05:
            significant = True
            break
    if significant:
        hit_rate_at_alpha_05 += 1

print(f"P(20 검정 중 적어도 하나가 참 귀무 하 p<0.05 침): "
      f"{hit_rate_at_alpha_05 / M_experiments:.4f}")
print(f"예상: 1 - 0.95^20 = {1 - 0.95**20:.4f}")
print(f"\n20 검정에 대한 Bonferroni-보정 임계: alpha = 0.05/20 = 0.0025")
# 20 귀무 검정을 돌린 '실험' 의 약 64% 가 적어도 하나의 '유의' 결과 가짐
# — 순 노이즈, 실제 효과 없음. 그게 평이한 숫자로의 다중 비교 위험.

Exercise

놀라운 연구 결과 하나를 골라 등록된 분석계획, 주요·보조 결과지표, 하위집단, 중간분석, 다중비교 보정을 확인해. 탐색적 결과라면 어떤 독립 자료로 확인해야 하는지도 적어.

Hint

사전등록 여부만으로 품질을 판정하지 마. 계획과 실제 분석이 일치하는지, 미보고 결과가 있는지, 보정 목표가 무엇인지 함께 봐.

메커니즘

흔한 형태

어떻게 통제하나

시민의 점검

Code

External links

Exercise

Progress

댓글 0