곱 규칙: 곱셈이 덧셈이 되다

곱셈을 덧셈으로 옮기기

양수 $A, B$ 에 대해 로그의 곱 규칙은

$lo g (A \cdot B) = lo g (A) + lo g (B)$

이야. 지수법칙 $b^{u + v} = b^{u} b^{v}$ 를 거꾸로 읽은 결과지. 확률을 많이 곱하는 계산에서는 이 규칙 덕분에 곱 전체 대신 로그확률의 합을 다룰 수 있어.

자료형에 따라 달라지는 밑돌림

예를 들어 $0.00 1^{100} = 1 0^{- 300}$ 이야. float32가 표현할 수 있는 가장 작은 양수보다 훨씬 작아서 0으로 밑돌지만, float64에서는 아직 0이 아닌 수로 표현돼. “컴퓨터가 모두 포기한다”가 아니라 자료형의 표현 범위를 넘으면 밑돌림이 생기는 거야.

로그 공간에서는 $100 lo g (0.001) \approx - 690.8$ 을 저장해. 이 값은 float32에서도 무리 없이 표현돼. 원래 확률이 꼭 필요할 때 다시 지수화할 수 있지만, 그 순간 결과가 자료형 범위 밖이면 역시 0이 될 수 있어. 그래서 비교·최적화·합산을 가능한 오래 로그 공간에 두는 거야.

로그우도가 등장하는 곳

최대우도추정: 관측별 확률의 곱을 최대화하는 대신 로그확률의 합을 최대화해.
교차엔트로피: 원-핫 분류에서는 정답 클래스의 음의 로그확률과 이어져.
언어모델: 다음 토큰들의 음의 로그우도를 더해 학습 목표를 만들고, 평균 로그손실에서 perplexity도 계산해.

확률의 긴 곱은 로그확률의 합으로 바꿔. 같은 수학을 더 넓은 수치 범위에서 다룰 수 있어.

Code

확률의 곱을 로그의 합으로 바꾸기·python

import numpy as np

probs32 = np.full(100, 0.001, dtype=np.float32)
probs64 = np.full(100, 0.001, dtype=np.float64)

print(np.prod(probs32))  # 0.0: float32 범위에서 밑돌아
print(np.prod(probs64))  # 약 1e-300: float64에는 아직 남아

log_total = np.sum(np.log(probs32), dtype=np.float64)
print(log_total)         # 약 -690.776
print(np.exp(log_total)) # 약 1e-300: 여기까지는 float64로 복원 가능

# 더 긴 곱은 float64도 결국 밑돌아. 로그값은 그대로 남아.
deeper_log_total = 400 * np.log(0.001)
print(deeper_log_total)          # 약 -2763.102
print(np.exp(deeper_log_total))  # 0.0: float64에서도 밑돌아
# 그래서 계산 목적에 따라 로그값을 가능한 오래 유지해.

PyTorch가 logits를 직접 받는 이유·python

import torch

# PyTorch cross-entropy 가 이미 로그 공간에 살아
logits = torch.tensor([[2.0, 1.0, 0.5]])    # raw 모델 출력
target = torch.tensor([0])                   # 정답 클래스 인덱스

loss = torch.nn.functional.cross_entropy(logits, target)
# 내부적으로: log_softmax (logits) → target 인덱스 픽 → 음수
print(loss.item())                           # ~0.42

Exercise

dtype=np.float32와 dtype=np.float64로 각각 0.5가 1,500개 든 배열을 만들고 곱을 계산해. 이어서 1500 * np.log(0.5)를 계산해 자료형별 결과를 비교해.

Hint

0.5^1500은 float64의 정상 범위보다도 작아. 직접 곱과 마지막 지수화는 0이 될 수 있지만 로그값 약 -1039.7은 그대로 비교하고 더할 수 있어.

곱셈을 덧셈으로 옮기기

자료형에 따라 달라지는 밑돌림

로그우도가 등장하는 곳

Code

External links

Exercise

Progress

댓글 2

방법 1

방법 2

비교