와일드에서 로그 발견하는 곳

로그 sighting 치트시트

뭐 봐야 할지 알면 로그가 AI 곳곳에. 짧은 field guide:

Cross-entropy 손실 — PyTorch F.cross_entropy 가 hood 아래 NLLLoss(log_softmax(x)).
정보 / 엔트로피 — Shannon 엔트로피 = $H = - \sum p_{i} lo g p_{i}$ . 언어 모델의 토큰당 비트.
KL divergence — $D_{K L} (P ∥ Q) = \sum p_{i} lo g (p_{i} / q_{i})$ . Distillation, RLHF, VAE 에서 사용.
Logit 변환 — $logit (p) = lo g \frac{p}{1 - p}$ . 확률 (0,1) → 모든 ℝ. 모든 binary classifier 안에.
Plot 의 로그 스케일 — 로그 y축 학습 곡선, 로그 스케일 학습률 schedule, 로그 스케일 perplexity (NLL exp).
Quantization 스케일링 — Q-format 와 dynamic-range 인코딩이 종종 로그 spacing.
Boltzmann / softmax temperature — $P (x) \propto e^{- E (x) / T}$ . 에너지 = -로그확률 (상수까지).

모델이 확률 계산 중이면 hood 아래 로그-확률 거의 확실히 계산. 수치 안정성이 요구.

트랙 보상

로그 = 우주의 자연 정규화. 네 귀가 함. AI 가 함. 손실 함수가 로그 공간에 살아. 다음에 F.log_softmax 나 cross_entropy 나 logsumexp 보면 syntax 가 아니라 underlying 압축 주문 보임.

Code

로그가 조용히 모든 거 굴리는 중·python

import torch
import torch.nn.functional as F

logits = torch.tensor([[2.0, 1.0, 0.5]])

# 동등한 셋, 다 로그 위에:
# 1) softmax 로 확률
probs = F.softmax(logits, dim=-1)
print(probs)

# 2) log_softmax 로 로그-확률 (수치적 안정)
log_probs = F.log_softmax(logits, dim=-1)
print(log_probs)

# 3) 클래스 0 의 negative log-likelihood 손실
loss = F.nll_loss(log_probs, torch.tensor([0]))
print(loss.item())   # ~0.42 — raw logits 의 cross_entropy 와 같음

Exercise

네가 본 신경망 학습 스크립트 아무거나. log, entropy, softmax, nll 검색. 로그 포함 라인 (종종 cross_entropy 같은 함수명 뒤에 숨음) 세기. '신경망 학습' = 대부분 '로그-것들 합 최소화' 임을 깨닫기.

Hint

스크립트 없으면 PyTorch 튜토리얼 봐. 거의 모든 분류 예제가 cross-entropy 사용 — 그리고 cross-entropy 가 log-likelihood 의 부호 뒤집음.

와일드에서 로그 발견하는 곳

로그 sighting 치트시트

트랙 보상

Code

External links

Exercise

Progress

댓글 2