제1종 오류와 제2종 오류: 결정의 두 실패

"검정에는 두 종류의 실패가 있고, 어느 쪽이 더 비싼지는 수학만으로 정해지지 않아. 맥락과 행동의 결과를 함께 봐야 해."

정의

제1종 오류: H₀가 참인데 기각하는 오류야. 적절히 설계된 검정에서 유의수준 α는 H₀ 아래의 제1종 오류확률을 통제하는 기준이야.
제2종 오류: H₀가 거짓인데 기각하지 못하는 오류야. 특정 대립값에서 그 확률을 β라고 하고, 검정력은 1−β야.

표본 크기와 검정이 고정되어 있으면 α를 낮출수록 검정력이 줄어드는 경우가 많아. 하지만 더 많은 자료를 모으거나 더 정밀하게 측정하거나 효율적인 설계를 쓰면 두 오류를 함께 줄일 수도 있어. 둘 사이의 관계는 단순한 고정 합이 아니야.

오류 이름은 H₀를 어떻게 잡느냐에 달려

암 검진, 약물평가, 스팸필터, 재판에서 거짓양성과 거짓음성의 비용이 다르다는 비교는 유용해. 다만 이를 곧바로 동일한 α와 β에 대응시키면 안 돼. 선별검사의 민감도·특이도와 가설검정의 오류율은 관련된 의사결정 개념이지만 같은 정의가 아니고, 실제 정책은 유병률, 후속검사, 치료의 이익과 위해, 비용을 함께 고려해.

법정 비유의 경계

형사사법은 무고한 사람을 유죄로 판단하는 오류에 큰 비용을 둬. 블랙스톤의 "한 명의 무고한 사람이 고통받는 것보다 열 명의 죄인이 달아나는 편이 낫다"는 격언이 그 비대칭을 표현하지. 하지만 이 10:1은 통계적 손실함수나 보편적인 α를 계산한 결과가 아니야.

'합리적 의심을 넘어서'도 숫자로 고정된 유의수준이 아니고, 배심원은 반복표본의 장기 오류율을 계산하지 않아. 다음 트랙에서는 공통된 결정 구조를 비유로 사용하되, 법과 통계를 같은 절차로 취급하지 않을 거야.

운영 원칙

결정 규칙을 고를 때는 H₀와 행동을 먼저 적고, 제1종·제2종 오류가 각각 누구에게 어떤 비용을 주는지 비교해. 그다음 α, 표본 크기, 원하는 검정력, 최소효과크기를 함께 설계해야 해.

Code

Type I 과 Type II 오류율, 시뮬레이션·python

import numpy as np
rng = np.random.default_rng(150)

# 참 차이에 대한 검정 시뮬.
# H0: 효과 없음 (평균 = 0).  H1: 참 효과 (평균 = 0.3).
# 샘플 크기 N, 유의수준 alpha.
N = 30
alpha = 0.05
threshold = 1.96 / np.sqrt(N)   # 표본 평균의 임계값

M = 10_000
true_means = [0.0, 0.3]   # 귀무 세계와 효과 세계
for true_mean in true_means:
    samples = rng.normal(loc=true_mean, scale=1.0, size=(M, N))
    sample_means = samples.mean(axis=1)
    rejected = np.abs(sample_means) > threshold
    fraction = rejected.mean()
    label = "참 H0" if true_mean == 0 else "참 H1 (효과=0.3)"
    print(f"{label:>30s}: 기각률 = {fraction:.4f}")

# 참 H0 하: 기각률 ≈ alpha = 0.05 (Type I 오류율).
# 참 H1 하 (효과 0.3, N=30): 기각률 = 검정력 = 1 - Type II 율.
# Type I 낮추려면 임계 올림 — 근데 그게 검정력 낮춤 (Type II 올림).
# trade-off 가 고정 N 에 대해 근본적.

Exercise

거짓경보와 놓친 신호가 모두 가능한 결정을 하나 골라 H₀와 행동을 명시해. 두 오류의 비용, 최소한 탐지할 효과, 목표 α와 검정력, 필요한 자료를 적어. 표본을 늘리면 의사결정이 어떻게 달라지는지도 봐.

Hint

어느 오류가 더 나쁜지만 고르지 마. H₀를 어떻게 정의했는지와 오류 뒤에 실제로 취할 행동까지 적어야 비용을 비교할 수 있어.

정의

오류 이름은 H₀를 어떻게 잡느냐에 달려

법정 비유의 경계

운영 원칙

Code

External links

Exercise

Progress

댓글 0