Forward Pass: 화살 쏘기

~8 min · forward-pass, prediction, loss

Level 0수학 초심자

0 XP0/59 lessons0/13 achievements

0/100 XP to next level100 XP to go0% complete

양궁 비유

신경망의 forward pass = 화살 쏘기. 데이터가 입력 layer 진입, hidden layer 통과, 예측으로 착륙. 정답 = 과녁. 첫 발 보통 빗나감 — 정확히 그만큼이 loss.

손실 함수 = "얼마나 빗맞았어?" 의 자. 회귀 = MSE. 분류 = cross-entropy. Learning from Data 트랙에서 둘 다 만남.

실제 일어나는 것

각 layer 가 변환 적용: $h_{ℓ + 1} = σ (W_{ℓ} h_{ℓ} + b_{ℓ})$ . Weight 행렬 곱, bias 더함, 비선형 통과. 많이 stack = deep network.

입력 $x$ 가 layer 1 후 $h_{1}$ .
$h_{1}$ 이 layer 2 후 $h_{2}$ .
...
마지막 $h_{L}$ = 예측 $\overset{y}{^}$ .
$\overset{y}{^}$ 와 진짜 $y$ 를 손실 함수로 비교.

그게 forward pass. 순수 forward 계산, 아직 학습 X.

Forward pass = 예측 계산. Loss = 얼마나 틀렸나. Backward pass (다음 lesson) 가 학습 일으킴.

Code

한 forward pass·python

import torch
import torch.nn as nn
import torch.nn.functional as F

# 2-layer 망 — forward pass 만
class TinyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(4, 8)
        self.fc2 = nn.Linear(8, 3)

    def forward(self, x):
        h = F.relu(self.fc1(x))      # layer 1 + ReLU
        return self.fc2(h)            # layer 2 → logits

net = TinyNet()
x = torch.randn(1, 4)                # 1 sample, 4 feature
y_true = torch.tensor([2])           # 정답 클래스 인덱스

logits = net(x)                       # forward pass
loss = F.cross_entropy(logits, y_true)
print(f"loss: {loss.item():.4f}")

Exercise

PyTorch 로 3-layer fully-connected 망 (입력 10 → 64 → 32 → 1) 정의. 임의 입력 통과. 각 중간 layer 출력 모양?

Hint

nn.Linear 와 F.relu. 각 layer 후 h.shape 출력해 차원 흐름 봐: (1, 10) → (1, 64) → (1, 32) → (1, 1).

Progress

Progress is local-only — sign in to sync across devices.

← ⛷️ 미분: 변화의 dynamics퀴즈 · 4 questions Next →활성 함수: 비선형의 spark

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.