멱법칙: 긴 꼬리를 검증하는 법

"극단값이 많고 상위 몇 개가 총량을 지배한다고 곧바로 멱법칙은 아니야. 멱법칙은 눈대중이 아니라 경쟁모형과 비교해 검증할 가설이야."

멱법칙의 뜻

어떤 임계값보다 큰 꼬리에서 생존확률이 P(X ≥ x) ∝ x^{-α}처럼 감소한다면 멱법칙 꼬리라고 불러. 지수꼬리보다 천천히 줄어들어 큰 값이 상대적으로 자주 나타나고, 척도를 바꿔도 비슷한 모양이 남는 성질이 있어.

도시규모, 지진, 연결수, 판매량, 자산의 윗꼬리에서 멱법칙이 후보로 제시되곤 해. 하지만 각 자료의 전체 분포가 같은 멱법칙이라는 뜻은 아니야. 로그정규, 절단 멱법칙, stretched exponential 같은 분포도 제한된 구간에서 비슷해 보일 수 있어.

80/20은 법칙이 아니야

Pareto의 관찰에서 나온 80/20은 집중을 기억하기 좋은 경험칙이야. 모든 자료에서 정확히 80%와 20%가 반복되는 규칙은 아니고, 상위 20% 안에서 다시 똑같은 비율이 반드시 재귀하는 것도 아니야. 실제 집중도는 분포모수, 절단점, 표본범위에 따라 달라.

α의 정의부터 확인해

꼬리지수 α의 임계값은 α를 밀도에 붙였는지 생존함수에 붙였는지에 따라 표기가 달라질 수 있어. 여기서는 P(X ≥ x) ∝ x^{-α}라는 Pareto 생존꼬리를 기준으로 할게. 이때 α≤1이면 이론적 평균이 유한하지 않고, α≤2이면 분산이 유한하지 않아.

"평균이 무한하다"는 말은 유한표본의 산술평균을 계산할 수 없다는 뜻이 아니야. 모집단 평균이 유한값으로 존재하지 않아 표본평균이 안정적으로 수렴하지 않는다는 뜻이야. 현실에서는 물리적·제도적 상한 때문에 꼬리가 절단될 수도 있어.

어떻게 검증할까

멱법칙이 시작되는 임계값을 추정해.
꼬리지수를 적합하고 적합도 불확실성을 보여줘.
로그정규, 지수, 절단 멱법칙 같은 대안과 비교해.
측정범위와 표본선택이 꼬리를 만든 건 아닌지 확인해.

내면화할 프레임

집중과 비대칭은 관찰이고, 멱법칙은 그 관찰을 설명하는 후보모형이야. 평균, 중앙값, 분위수와 상위집중도를 먼저 보고, 분포 이름은 비교검증 뒤에 붙여. 불평등을 수학의 자연법칙으로 돌려 제도와 원인을 지우지도 마.

Code

파레토 (멱법칙) 분포의 상위 X% 점유율·python

import numpy as np
rng = np.random.default_rng(15)

# 모양 매개변수 alpha=1.5 인 파레토 샘플.
N = 100_000
alpha = 1.5
x = (rng.pareto(alpha, size=N) + 1)   # 파레토 + 1 (xmin = 1)

# 상위 1%, 10%, 20%, 50% 가 보유하는 총량 점유율 계산.
x_sorted = np.sort(x)[::-1]
total = x.sum()
for pct in (0.01, 0.10, 0.20, 0.50):
    k = int(N * pct)
    share = x_sorted[:k].sum() / total
    print(f"상위 {pct*100:>4.1f}%  보유  {share*100:>5.1f}% 의 총량")

# alpha=1.5 파레토에서: 상위 1% 가 ~25%, 상위 20% 가 ~75% 보유.
# 정확한 숫자는 alpha 에 의존. 모양은 보편: 소수가 대부분을 가짐.
# 종 모양은 어떤 평균과 std 를 골라도 이 모양을 못 만들어.

Exercise

긴 꼬리가 의심되는 자료 하나를 골라 평균, 중앙값, 상위 1% 비중을 계산해. 그다음 멱법칙, 로그정규, 절단 멱법칙이 왜 서로 다른 설명인지 적어봐.

Hint

상위 1%가 크다는 사실만으로 분포를 확정하지 마. 임계값 위 꼬리자료와 대안모형 비교가 필요해.

멱법칙의 뜻

80/20은 법칙이 아니야

α의 정의부터 확인해

어떻게 검증할까

내면화할 프레임

Code

External links

Exercise

Progress

댓글 0