현실의 코드에서 로그를 찾는 법

이름이 달라도 같은 구조

로그는 함수 이름에 대놓고 드러나기도 하고, 손실 함수 안에 숨어 있기도 해.

교차엔트로피: PyTorch의 분류용 F.cross_entropy는 raw logits를 받아 안정적인 log-softmax와 음의 로그우도 계산을 결합해.
정보량과 엔트로피: $H = - \sum p_{i} lo g p_{i}$ . 로그의 밑을 2로 잡으면 단위는 비트가 돼.
KL 발산: $D_{K L} (P ∥ Q) = \sum p_{i} lo g (p_{i} / q_{i})$ . 두 확률분포의 차이를 재는 비대칭 척도로 VAE와 지식증류 등에 쓰여.
logit 변환: $logit (p) = lo g \frac{p}{1 - p}$ . 0과 1 사이의 확률을 실수 전체의 로그오즈로 옮겨.
학습 곡선: 값의 범위가 여러 자릿수에 걸치면 로그축이 초기와 후기 변화를 한 그림에 보여 줘.
양자화: 일부 비선형 양자화와 부동소수점 표현은 넓은 동적 범위를 다루려고 로그와 비슷한 간격을 활용해. 하지만 흔한 균일 정수 양자화까지 전부 로그 간격인 건 아니야.
에너지와 온도: $P (x) \propto e^{- E (x) / T}$ 꼴에서는 에너지가 상수 차이까지 음의 로그확률과 이어져.

확률을 곱하거나, 큰 범위를 압축하거나, 정보량을 재면 로그가 나타날 가능성이 커. 함수 이름보다 식의 구조를 찾아봐.

트랙을 닫으며

로그는 만능 정규화 주문이 아니야. 지수 관계를 풀고, 곱을 합으로 바꾸고, 넓은 수치 범위를 안정적으로 다루는 도구야. log_softmax와 logsumexp를 보면 이제 왜 별도 함수가 필요한지 설명할 수 있지.

Code

학습 코드 안의 로그 연산 찾기·python

import torch
import torch.nn.functional as F

logits = torch.tensor([[2.0, 1.0, 0.5]])

# 동등한 셋, 다 로그 위에:
# 1) softmax 로 확률
probs = F.softmax(logits, dim=-1)
print(probs)

# 2) log_softmax 로 로그-확률 (수치적 안정)
log_probs = F.log_softmax(logits, dim=-1)
print(log_probs)

# 3) 클래스 0 의 negative log-likelihood 손실
loss = F.nll_loss(log_probs, torch.tensor([0]))
print(loss.item())   # ~0.42 — raw logits 의 cross_entropy 와 같음

Exercise

신경망 학습 스크립트 하나에서 log, entropy, softmax, nll, cross_entropy를 찾아. 각 연산이 실제로 로그를 쓰는지, 어떤 확률모형이나 목적함수와 연결되는지 세 줄로 설명해.

Hint

분류용 cross_entropy는 보통 log_softmax와 음의 로그우도를 결합해. 그렇다고 모든 신경망 목적함수가 로그우도라는 뜻은 아니니, 선택한 코드의 손실 정의를 확인해.

이름이 달라도 같은 구조

트랙을 닫으며

Code

External links

Exercise

Progress

댓글 2