중심극한정리: 왜 벨이 곳곳에

정규분포가 되는 건 원자료가 아니라 평균

한 모집단에서 같은 크기의 표본을 여러 번 뽑고, 표본마다 평균을 계산한다고 해봐. 표본 크기가 커질수록 그 표본평균들의 분포는 많은 조건에서 정규분포에 가까워져. 이게 중심극한정리야.

여기서 주인공은 개별 관측값이 아니야. 원자료가 비대칭인 지수분포여도 원자료 자체가 정규분포로 변하진 않아. 반복해서 얻은 표본평균의 분포가 정규형에 가까워지는 거야.

‘원래 분포와 무관하게’에는 각주가 붙어

가장 익숙한 형태의 정리는 관측값이 서로 독립이고 같은 분포에서 나오며, 평균과 유한한 분산을 가진다고 가정해. 약한 의존성을 허용하는 확장도 있지만 아무 자료에나 자동으로 적용되진 않아. 꼬리가 너무 두꺼워 분산이 무한한 분포처럼 조건이 깨지는 경우에는 고전적 결론도 깨질 수 있어.

표본이 얼마나 커야 충분한지도 원분포에 달렸어. 대칭적이고 꼬리가 얇으면 비교적 빨리 가까워지고, 심하게 비대칭이거나 꼬리가 두꺼우면 더 큰 표본이 필요해.

통계와 머신러닝에서 왜 중요할까

평균의 불확실성: 표본평균의 표준오차가 대략 $σ / n$ 로 줄어드는 이유를 설명해.
정규근사: 조건이 맞고 표본이 충분하면 평균에 관한 신뢰구간과 검정을 정규분포로 근사할 수 있어.
잡음 모형: 서로 작은 영향이 많이 더해지는 생성 과정에서는 가우시안 잡음이 그럴듯한 근사가 되기도 해. 하지만 잔차를 실제로 확인해야 해.

배치 정규화가 작동하는 이유를 중심극한정리 하나로 설명하면 안 돼. 배치 정규화는 미니배치 통계로 활성값을 정규화해 최적화와 스케일 관리를 돕는 기법이지, 활성값이 정규분포가 된다는 보장에 기대는 기법은 아니야.

중심극한정리는 ‘무엇을 평균 냈는지’와 ‘어떤 조건에서 뽑았는지’를 함께 읽어야 해. 강력한 정리지만 만능 주문은 아니야.

Code

비대칭 원자료에서 표본평균 분포 만들기·python

import numpy as np

# 미친 듯 비-정규 분포 — 균일 [0, 1]
samples = np.random.uniform(0, 1, size=(100_000, 30))   # 100k 개 30 크기 sample

# 각 sample 평균
sample_means = samples.mean(axis=1)

# 표본 평균 분포가 대략 정규!
print(f"평균의 평균: {sample_means.mean():.3f}")  # ≈ 0.5
print(f"평균의 std : {sample_means.std():.3f}")   # ≈ 1/sqrt(12*30) ≈ 0.053

# sample_means 히스토그램 plot — 벨, 원래 분포가 평평 균일이었는데도.

Exercise

비대칭인 지수분포에서 크기 50인 표본을 10,000번 뽑아 각 표본평균을 계산하고 히스토그램을 그려. 원자료 히스토그램과 표본평균 분포를 나란히 비교해.

Hint

np.random.exponential(scale=1.0, size=(10000, 50)).mean(axis=1)을 써. 원자료가 정규분포로 바뀌는 것이 아니라 표본평균들의 분포가 더 대칭적인 모양에 가까워지는 거야.

정규분포가 되는 건 원자료가 아니라 평균

‘원래 분포와 무관하게’에는 각주가 붙어

통계와 머신러닝에서 왜 중요할까

Code

External links

Exercise

Progress

댓글 0