도함수 = 한 점에서의 기울기

줌인

곡선 가져와. 한 점 골라. 줌인. 더 줌. 결국 곡선이 직선처럼 — 그 점의 접선. 그 접선의 기울기 = 그 점에서의 도함수.

형식: $f^{'} (x) = lim_{h \to 0} \frac{f ( x + h ) - f ( x )}{h}$ . Run 이 0 으로 줄 때의 "rise over run".

왜 AI 에 가장 쓸모있는 양

Loss landscape = 곡선 (정확히는 다차원 표면, 근데 어떤 방향 따라 국소적으로 곡선). Weight 공간의 한 점에서, weight 에 대한 loss 의 도함수가 말함: "이 weight 살짝 까딱이면 loss 얼마나 변해?"

학습의 핸들. 없으면 무작위 헤맴. 있으면 가장 작고 유용한 step 자신있게.

흔한 도함수 모양

함수	도함수
$f (x) = c$ (상수)	$0$
$f (x) = x$	$1$
$f (x) = x^{2}$	$2 x$
$f (x) = e^{x}$	$e^{x}$ (yes, 자기 자신)
$f (x) = lo g (x)$	$1/ x$
$f (x) = sin (x)$	$cos (x)$

외울 필요 없어 — autograd 가 일함. 근데 모양 알면 예상 못한 결과 sanity check.

도함수 = 한 점의 기울기. AI 에선 "이 파라미터 어느 방향으로 까딱여야 loss 줄어드나?" 의 답.

Code

수치와 symbolic, 일치·python

import numpy as np
import torch

# 수치 도함수 — 줌인으로 근사
def numerical_derivative(f, x, h=1e-6):
    return (f(x + h) - f(x)) / h

f = lambda x: x ** 2
print(numerical_derivative(f, 3.0))   # ~6.0  (2*3 = 6 이어야 함)

# Autograd 로 symbolic
x = torch.tensor(3.0, requires_grad=True)
(x ** 2).backward()
print(x.grad.item())                   # 6.0

Exercise

(f(x+h) - f(x-h)) / (2h) (대칭 형식, 더 정확) 로 임의 함수 f 의 점 x 에서 수치 도함수 계산하는 Python 함수. f(x) = sin(x), x = 0 에서 테스트 — ≈ 1 이어야 (cos(0) = 1).

Hint

대칭 형식이 forward 차분보다 smooth 함수에 정확. h = 1e-5 정도 잘 작동; 더 작으면 float 정밀도 노이즈.

도함수 = 한 점에서의 기울기

줌인

왜 AI 에 가장 쓸모있는 양

흔한 도함수 모양

Code

External links

Exercise

Progress

댓글 0