시민으로서 통계 헤드라인 읽기

"통계 헤드라인은 짧고 자신 있게 말하지만, 정확한 해석은 대개 조건을 몇 개 더 필요로 해. 시민의 일은 빠진 조건을 복원하는 거야."

헤드라인의 제약

헤드라인은 공간이 짧고 관심을 끌어야 해서, 모집단·표본·분포·불확실성 같은 수식어를 자주 덜어내. 그래서 먼저 제목을 참·거짓으로 판정하기보다, 어떤 조건이 빠졌는지 찾아야 해.

자주 만나는 패턴

• "평균 X가 5% 올랐다": 평균이 무엇을 잘 요약하는지 보려면 중앙값, 분포의 비대칭, 상·하위 집단의 변화도 확인해.
• "연구에서 유의한 효과가 나왔다": p-value만 보지 말고 효과 크기와 구간추정, 연구 설계, 표본 크기, 다중비교, 사전등록과 재현 자료를 확인해.
• "Y년에 한 번 일어나는 사건": 독립성과 정상성, 꼬리 모형이 무엇인지 물어봐. '100년 빈도'가 사건 사이에 정확히 100년이란 뜻도 아니야.
• "X의 Y%가 Z다": 분모와 조건부확률의 방향을 확인해. Y%가 어느 집단 안에서 계산됐는지부터 봐.
• "설문에서 X%가 답했다": 조사 방식, 모집단, 응답률, 가중치, 오차범위, 조사 시점을 확인해.
• "성공한 사람이 알려주는 성공법": 같은 전략을 쓰고 실패한 사람과 다른 전략으로 성공한 사람의 자료가 빠졌는지 물어봐.

복원 습관

헤드라인을 더 긴 문장으로 다시 써봐. "어떤 모집단에서, 어떤 방식으로 뽑은 표본을 이용해, 어떤 모형과 불확실성 아래에서 나온 결과"인지 채우면 돼. 모든 조건을 직접 검증하지 못하더라도, 무엇이 모르는 부분인지 표시할 수 있어.

복합 렌즈