시그마 렌즈가 깨질 때

"두꺼운 꼬리 데이터에서의 σ-기반 진술은 *fantasy 세계에 대한 수학적으로 valid 한 산수*야."

렌즈에 도메인이 있어

*σ 렌즈가 종 곡선 가정이 성립하는 곳*에서 *아름답게 작동*. *성립 안 하는 곳에서는 나쁘게 — 종종 호도하게 — 작동*. *'성립 안 하는 곳' 의 리스트가 세상의 *결과를 좌우하는 데이터 대부분*: 금융 수익률, 소셜 미디어 바이럴리티, 웹 파일 크기, 스트레스 받은 시스템 응답 시간, 자산 분포, 네트워크 트래픽, 지진 규모.

이들 각각에 대해 *σ 를 계산하고 '이게 3σ 사건' 이라고 인용하는 건 기술적으로 valid 한 산술 동작*. *해석 '0.13% 시간에 일어남' 은 *데이터에 안 맞는 정규분포에서 빌려온 fantasy*. *산수는 괜찮음; 결론이 틀림*.

불일치가 어떻게 숨는가

*두꺼운 꼬리 분포의 중심이 종종 종 모양으로 보임*. *평온한 해의 일일 주식 수익률 히스토그램이 대략 정규처럼 보임*. *거기서 계산된 σ 가 잘 정의됨*. *그 σ 로 계산된 95% 구간이 대부분 날짜 커버*. *모든 게 괜찮아 보임* — *위기일이 도착할 때까지*, 그 시점에 *'희귀' 사건이 발생*하고, *다음 날 또 도착*, *그 다음 날 또*. *σ 렌즈는 두꺼운 꼬리 분포의 평온한 중간에서 샘플링된 것*; *못 본 꼬리에 대해 할 말 없음*.

*이게 실패 모드를 음흉하게 만드는 것*. *σ 렌즈가 조용한 데이터에서 *0 개 적색 신호*를 보고*. *오직 가장 중요할 때만 실패*: *꼬리에서, 결과를 좌우하는 사건이 사는 곳에서, 그리고 *보정이 현실에서 가장 떨어진 곳*에서*.

시민의 두-질문 테스트

*어떤 새 데이터셋에든 σ 렌즈 적용 전에*:

기저 과정이 뭐야? *데이터 포인트가 많은 작은 독립적 기여의 합* (CLT 적용, σ 렌즈 아마 작동) 인가, *한 요인이 지배할 수 있는 과정의 결과* (CLT 안 적용, σ 렌즈 아마 호도) 인가?
꼬리를 봤어? *두꺼운 꼬리 데이터의 평온한 샘플은 정규처럼 보임*. *그 위에 보정된 렌즈는 꼬리 사건이 도착할 때 거짓말함*. *σ 가정을 스트레스-테스트*: *내일 5σ 사건이 일어나면, 진짜로 350만 분의 1 우연이라고 생각할 거야, 아니면 모델을 의심할 거야*?

트랙 04 마무리

*σ 렌즈는 첫 번째 정규분포 트릭*이야. *적용되는 곳에서 정밀하고 적용 안 되는 곳에서 위험*. 트랙 07 이 *최악의 실패들을 자세히 분해*할 거. 지금은 규칙 잡아둬: *렌즈에 도메인이 있고, 시민의 일은 데이터가 도메인 경계의 어느 쪽에 있는지 아는 것*. *산수가 안 알려줘*; *기저 과정 질문만이 알려줘*.

Code

정규 vs 두꺼운 꼬리 데이터에 적용한 시그마 렌즈·python

import numpy as np
rng = np.random.default_rng(100)

# 두 데이터셋 생성: 하나는 진정으로 정규, 하나는 두꺼운 꼬리 Student-t (df=3).
# 둘 다 N=10,000 이고 비슷한 표본 std.
normal = rng.normal(size=10_000)
fat = rng.standard_t(df=3, size=10_000)

# 둘 다 표준화.
def summary(label, x):
    z = (x - x.mean()) / x.std()
    p2 = (np.abs(z) > 2).mean()
    p3 = (np.abs(z) > 3).mean()
    p4 = (np.abs(z) > 4).mean()
    p5 = (np.abs(z) > 5).mean()
    print(f"{label:>20s}: P(|z|>2)={p2:.4f}  >3={p3:.4f}  >4={p4:.5f}  >5={p5:.6f}")

summary("진짜 정규", normal)
summary("두꺼운 꼬리 (t)", fat)
print("\n정규-예상:           P(|z|>2)=0.0455   >3=0.0027   >4=0.00006   >5=6e-7")

# *진짜 정규가 예상 희귀성과 가깝게 일치*.
# *두꺼운 꼬리 데이터에 σ 렌즈가 계산할 수 있는 'sigma' 가 있지만,
# 실현된 꼬리 확률이 렌즈가 예측한 것보다 훨씬 더 높음*.
# *이 두꺼운 꼬리 데이터의 5σ 사건은 대략 0.5%* — *350만 분의 1 이 아니야*.
# *같은 σ-어휘; 다른 현실*.

Exercise

*최근 σ-단위로 인용한 (또는 인용된 걸 본) 양* 하나 가져와. *두-질문 테스트 적용*: (1) *기저 과정이 뭐야 — 독립 작은 기여의 가산 합, 아니면 한 요인이 지배하는 무언가*? (2) *꼬리를 봤어, 아니면 평온한 중간만*? *둘 다 실패하면, σ 진술이 가지지 않은 신뢰성을 빌리는 것*. *해결책*은 *꼬리 데이터를 얻거나 비-σ 렌즈로 전환* (트랙 07 도구상자).

Hint

*대부분의 팬데믹, 금융 위기, 소셜 미디어 바이럴리티, 사고 클러스터가 평온 기간에 정규처럼 보이고 스트레스 기간에 평온 σ 가 예측한 것보다 훨씬 더 많은 'sigma' 사건을 만들어*. *렌즈가 실패한 건 보정 데이터가 잘못된 샘플이었기 때문*.

렌즈에 도메인이 있어

불일치가 어떻게 숨는가

시민의 두-질문 테스트

트랙 04 마무리

Code

External links

Exercise

Progress

댓글 0