생존편향: 돌아온 것만 보일 때

"보이는 성공은 성공의 조건만 보여줘. 같은 조건을 가졌지만 사라진 사례까지 봐야 무엇이 실제로 효과가 있었는지 알 수 있어."

Wald와 돌아온 비행기

제2차 세계대전 중 Statistical Research Group의 Abraham Wald는 전투에서 돌아온 항공기의 손상자료를 분석했어. 관측된 피격분포만 보고 장갑을 배치하면 살아 돌아온 항공기의 정보만 쓰게 돼. 돌아오지 못한 항공기는 표본에 없기 때문이야.

오늘날 널리 퍼진 색칠된 비행기 그림과 "장교들은 구멍 많은 곳을 보강하려 했고 Wald가 정반대를 말했다"는 장면은 후대의 교육용 재구성이 섞여 있어. 하지만 Wald의 분석이 담은 핵심은 분명해. 관측확률은 피격확률뿐 아니라 그 피격 뒤 귀환할 확률에도 달려 있었어. 생존이 자료수집의 문을 결정한 거야.

성공담의 보이지 않는 분모

성공한 창업가, 투자자, 운동선수의 전략을 모으면 성공에 조건을 건 표본이 돼. 같은 전략을 썼지만 실패한 사람이 얼마나 되는지, 다른 전략으로 성공한 사람이 얼마나 되는지 없으면 인과효과를 알기 어려워. 성공자가 자주 한 행동은 성공의 원인일 수도 있지만 업계의 흔한 행동, 성공 뒤 생긴 행동, 단순한 이야기일 수도 있어.

실패자를 몇 명 더 인터뷰하는 것만으로도 충분하지 않을 수 있어. 처음 시도한 전체 집단, 추적에서 사라진 사람, 성공을 어떻게 정의했는지까지 알아야 분모가 생겨.

운영 원칙

"성공한 사람들은 무엇을 했나?" 앞에 "누가 관측될 기회를 얻었나?"를 붙여. 시작한 전체 집단에서 전략별 성공률을 비교하고, 생존 여부가 측정과 어떤 관련이 있는지 확인해야 조언을 인과효과로 오해하지 않아.

Code

생존자 샘플이 전략 귀속 왜곡·python

import numpy as np
rng = np.random.default_rng(260)

# 두 전략 중 하나를 시도하는 100,000 스타트업 시뮬.
# 전략 A: '더 열심히 일함' — 성공률 0.05.
# 전략 B: '운 좋음' — 성공률 0.02.
# 두 전략 다 노이즈; 결과 단독으로는 구분 불가.
#
# 성공한 창업자만 인터뷰하고 '어느 전략 썼어?' 물음.

N = 100_000
strategy = rng.choice(['A', 'B'], size=N, p=[0.5, 0.5])
success_rate = np.where(strategy == 'A', 0.05, 0.02)
success = rng.random(N) < success_rate

survivors = strategy[success]
print(f"총 창업자:        {N:,}")
print(f"생존 창업자:      {success.sum():,}")
print(f"\n생존자 분해:")
for s in ['A', 'B']:
    count = (survivors == s).sum()
    pct = count / len(survivors) * 100
    print(f"  전략 {s}: {count:,} 생존자 (생존자의 {pct:.1f}%)")

print(f"\n*이 생존자 샘플 단독으로, *전략 A 가 지배적이라고 결론*.")
print(f"*그 결론이 이 시뮬에서 옳음, *근데 *분모를 알지 않고는 결론이 보이지 않음*.")
print(f"*실패 없이는, *A 의 성공률을 B 와 구분할 길 없음*.")
print("이게 실패 데이터 부재에서의 생존자 조언의 모습.")

Exercise

설득력 있다고 발견한 'X에서 성공하는 법' 조언 한 조각 고르기. 그것이 세워진 생존자 샘플 식별. 추정: 같은 전략을 따랐고 성공하지 못한 사람이 얼마나 많고, 그들의 경험이 포함되면 조언이 어떻게 바뀔까? 대부분 조언 책이 진지하게 물어진 이 질문 하 살아남지 못함.

Hint

조언이 성공한 사람들에서 추출됐다면, 생존자만의 샘플에서 전략의 효과를 추론하고 있어. 실패율, 또한 실패한 전략의 우주, 그리고 운의 역할이 이 vantage에서 모두 보이지 않아.

Wald와 돌아온 비행기

성공담의 보이지 않는 분모

운영 원칙

Code

External links

Exercise

Progress

댓글 0