로그 공간 컴퓨팅: 과소평가된 AI 스킬

로그 공간에서 살기

로그-확률 합치기 시작하면 가끔 로그-확률을 결합 해야 함 — 예: 확률 합의 로그. Naive 한 ( $lo g (e^{a} + e^{b})$ ) 는 $a, b$ 가 매우 음수일 때 underflow. Fix: log-sum-exp.

$logsumexp (a, b) = m + lo g (e^{a - m} + e^{b - m}) m = max (a, b)$

Max 빼기가 지수를 sane 범위에 유지. 끝에 다시 더해 정답 회복. scipy.special.logsumexp 와 torch.logsumexp 가 처리.

왜 Softmax 가 사실 log-Softmax 변장

Softmax: $softmax (x_{i}) = \frac{e ^{x_{i}}}{\sum _{j} e ^{x_{j}}}$ . Naive 구현 = $x_{j}$ 매우 음수일 때 underflow. 모던 프레임워크가 $max (x)$ 먼저 빼 — log-sum-exp 와 같은 트릭.

log(softmax(x)) 필요하면 절대 np.log(softmax(x)) 로 계산 X. log_softmax(x) 직접 — 수치적으로 안정. PyTorch, NumPy/SciPy 가 제공.

"지수 합의 로그" 필요할 때마다 라이브러리 logsumexp 써. Naive 버전은 이론에선 맞고 float32 에선 틀림.

Code

logsumexp 가 이름값 함·python

import numpy as np
from scipy.special import logsumexp

# 수치적으로 위험: 매우 음수 로그-prob
log_probs = np.array([-1000., -1001., -1002.])

# Naive: log(sum(exp(...)))
naive = np.log(np.sum(np.exp(log_probs)))   # -inf — underflow

# 안정: logsumexp
stable = logsumexp(log_probs)
print(stable)                                # ~-999.59 — 정답

로그 공간 컴퓨팅: 과소평가된 AI 스킬

로그 공간에서 살기

왜 Softmax 가 사실 log-Softmax 변장

Code

External links

Exercise

Progress

댓글 0