수학적 정규화 vs 물리적 정규화

"CLT 는 *수학적 정규화*야. 뇌, 카메라, 오디오 컴프레서는 *물리적 정규화*야. *같은 메커니즘, 다른 도메인*."

메타-프레임으로 돌아옴

트랙 02 의 첫 lesson 이 *정규화가 유한-시스템-meets-무한-정보의 보편 패턴*이라는 주장으로 열었어. 직전 lesson 에서 유도한 CLT 는 *그 패턴의 한 특정 화신* — *집계된 독립적 영향의 극한으로 종 모양을 만드는 수학적 정규화*. *이제 연결을 명시적으로 만들 때*: *우리가 한 수학은 지각이 매 순간 돌리는 같은 동작, 그저 다른 표기로 쓰인 것*.

수학적 정규화로서의 CLT

CLT 의 표준화 단계 — *평균 빼고, 표준편차로 나누기* — 가 *정규화*야. *N 과 σ 에 의해 설정된 척도에 사는 합*을 가져다 *보편 격자 (평균 0, std 1) 로 재스케일*. *종 모양은 이 재스케일이 많은 독립적 기여의 합에 적용될 때 등장하는 것*. *종은 '자연 법칙' 이 아니야*; *집계의 표준화된 잔여*고, 그걸 만드는 *동작이 뇌·카메라·컴프레서의 정규화와 같은 가족으로 인식 가능*.

뇌가 집계하고 정규화해

시각 피질이 *망막의 원시 광자 flux 를 보여주지 않아*. *많은 광수용체에 걸쳐 집계*, *주변 빛에 대해 정규화*, *대비 stretching*, 그리고 결과를 *'보고 있는 것' 으로 제시*. *집계 단계가 CLT 의 합과 같은 모양*; *정규화 단계가 CLT 의 표준화와 같은 모양*. 출력이 *원시 현실 처럼 '보이지만'*, *종 모양의 사촌*: *표준화된 집계*.

청각 피질이 *시간 도메인에서 같은 일*을 해. 청각이 *원시 공기압을 안 전달*; *짧은 윈도우에 걸쳐 집계*, *최근 맥락에 대해 정규화*, *표준화된 결과를 제시*. 시끄러운 방이 *갑자기 조용해지면* 지각이 *1-2초 내에 새 맥락에 정규화*. *그게 실시간 청각 표준화*.

오디오 컴프레서와 카메라 ISP 가 같은 이야기

스튜디오 오디오 컴프레서가 *넓은 다이나믹 레인지의 연속 파형*을 받아 *제약된 범위의 정규화된 신호*를 만들어. *집계는 암묵* (컴프레서가 시간 윈도우에 걸쳐 봄), *정규화는 조용한 구간과 큰 구간이 같은 척도에 살도록 신호를 재스케일*. 카메라 이미지 신호 프로세서 (ISP) 가 *시각 아날로그*: *픽셀과 노출 시간에 걸쳐 집계, 장면 밝기에 대해 정규화, 표준화된 이미지를 전달*.

모든 경우에 동작은: 많은 작은 기여를 집계, 그러고 나서 보편 격자로 재스케일. *CLT 는 이걸 수학적으로 함*; *물리 시스템은 회로·뉴런·소프트웨어로 함*. 각자 자기 도메인에 살지만, 모두 *같은 패턴의 인스턴스*고, *패턴을 알아채는 게 통계를 *수입된 게 아닌 native* 처럼 느끼게 만들어*.

루프를 닫는 프레임

종이 그렇게 자주 등장하는 건 *집계-plus-정규화가 그렇게 자주 등장*하기 때문 — 수학에서, 신경계에서, 신호 처리에서, *무한 정보를 마주한 어떤 유한 시스템에서든*. *CLT 는 형식적 기록*. *뇌는 영원히 구현을 돌려왔어*. *통계는 새 과목이 아니야*; *지각이 늘 해온 것의 수학적 이름*. 이 프레임의 *세 번째 등장*이 트랙 10 을 닫을 거 — 그때까지는 *들은 게 아니라 *느낀* 게 되어야 해*.

Code

두 도메인의 집계+정규화 나란히 보기·python

import numpy as np
rng = np.random.default_rng(50)

# 두 도메인에서 *집계 후 정규화* 를 나란히 시연.

# 도메인 1: 수학적 CLT — 30개 균등 draw 합, 표준화.
M = 5_000
uniform_samples = rng.uniform(low=-1, high=1, size=(M, 30))
sums = uniform_samples.sum(axis=1)
math_normalized = (sums - sums.mean()) / sums.std()

# 도메인 2: '오디오' 스타일 — 변하는 음량의 노이즈 신호, 윈도우 집계,
# 그리고 윈도우 레벨에 대해 정규화.
T = 50_000
signal = rng.normal(scale=np.linspace(0.5, 3.0, T), size=T)  # 음량 증가
window = 200
aggregated = np.convolve(signal, np.ones(window) / window, mode="same")
local_std = np.sqrt(np.convolve(signal ** 2, np.ones(window) / window, mode="same"))
audio_normalized = signal / (local_std + 1e-6)

for label, x in [("수학 (CLT-표준화)", math_normalized), ("오디오 (윈도우-정규화)", audio_normalized)]:
    print(f"{label:>28s}: 평균={x.mean():+.3f}  std={x.std():.3f}  범위=[{x.min():+.2f}, {x.max():+.2f}]")

# 두 파이프라인: *집계, 그러고 나서 보편 격자로 재스케일*.
# 한쪽은 통계; 다른 쪽은 신호 처리.
# *같은 동작; 다른 이름; 같은 가족*.

Exercise

*매일 쓰는 물리적 정규화 수행 장치 또는 시스템* 하나 골라 (카메라 자동 노출, 헤드폰 음량 평준화, 폰 자동 밝기, 노이즈 캔슬링 이어버드). 그것의 *집계 단계* (뭐에 걸쳐 평균?) 와 *정규화 단계* (어느 척도로 재스케일?) 를 묘사. 그러고 나서 연결: *CLT 의 표준화가 같은 두 단계 패턴에 매핑되나*? *그래야 함*.

Hint

집계 = 뭐가 결합. 정규화 = 출력이 어느 척도에 앉음. *현대 장치의 거의 모든 '자동-X' 기능이 둘 다 함*.