정규화와 표준화: 숫자 길들이는 두 방법

서로 다른 눈금을 맞추는 두 방법

픽셀은 0~255, 나이는 수십, 소득은 수백만 단위일 수 있어. 이런 특성을 그대로 넣으면 거리와 기울기 기반 학습에서 큰 단위의 특성이 수치적으로 더 큰 영향을 줄 수 있어. 스케일을 맞추는 대표 방법이 min-max 정규화와 z점수 표준화야.

min-max 정규화: $x^{'} = (x - x_{min}) / (x_{ma x} - x_{min})$ . 학습 자료의 최소와 최대를 0과 1로 옮겨.
z점수 표준화: $z = (x - μ) / σ$ . 학습 자료에서 평균을 0, 표준편차를 1로 맞춰.

둘 다 분포 모양을 바꾸진 않아

두 연산 모두 값을 평행이동하고 양의 상수로 나누는 affine 변환이야. 오른쪽으로 길게 치우친 자료는 변환 뒤에도 치우쳐 있고, 봉우리가 둘인 자료는 둘인 채야. z점수 표준화가 데이터를 표준정규분포로 만든다는 말은 틀려. 평균과 표준편차만 표준정규분포와 같아질 뿐이야.

min-max는 새 값이 학습 때 본 범위를 벗어나면 0보다 작거나 1보다 커질 수 있어. z점수는 원래부터 범위 제한이 없고, 두 방법 모두 이상치에 민감해. 이상치가 심하면 median과 IQR을 쓰는 robust scaling도 고려해.

자료 누출을 막는 순서

최소·최대·평균·표준편차는 학습셋에서만 계산하고 그 숫자를 검증셋과 시험셋에 그대로 적용해. 전체 자료에서 먼저 계산하면 평가 자료의 분포 정보가 학습 파이프라인에 새어 들어가.

모든 모델에 필수는 아니다

신경망, k-NN, SVM, 선형모형처럼 크기와 기울기에 민감한 방법은 스케일 조정의 도움을 자주 받아. 반면 결정트리 계열은 특성별 임계값으로 나누므로 단조 스케일 변환에 비교적 둔감해. 모델과 자료 생성 과정을 보고 선택해.

정규화는 범위를, 표준화는 중심과 눈금을 맞춰. 둘 다 분포를 정규분포로 고쳐 주는 마법은 아니야.

Code

두 변환을 네 줄로 비교하기·python

import numpy as np

img = np.random.randint(0, 256, size=(64, 64, 3)).astype(np.float32)

# Min-max 정규화 → [0, 1]
img_norm = img / 255.0
print(img_norm.min(), img_norm.max())   # 0.0  1.0 (또는 근사)

# Z-score 표준화 → 평균 0, 표준편차 1
mean, std = img.mean(), img.std()
img_std = (img - mean) / std
print(img_std.mean().round(3), img_std.std().round(3))  # ~0.0  ~1.0

PyTorch에서 같은 변환 적용하기·python

import torch

# 같은 연산을 PyTorch 로 — 같은 vibe, GPU-ready
x = torch.randn(1000) * 50 + 100   # 평균 100, 표준편차 50, 매우 안 정규화

x_norm = (x - x.min()) / (x.max() - x.min())  # [0, 1]
x_std  = (x - x.mean()) / x.std()             # 평균 0, 표준편차 1

Exercise

0~1,000 사이 임의 정수 100개로 1차원 NumPy 배열을 만들고 min-max 정규화와 z점수 표준화를 각각 적용해. 두 결과의 최솟값, 최댓값, 평균, 표준편차를 출력하고 무엇이 보장되는지 비교해.

Hint

np.random.randint(0, 1001, size=100)을 써. min-max는 관측 범위를, z점수는 평균과 표준편차를 맞춰. 상수 배열에서는 분모가 0이 된다는 점도 생각해.