AI에서 말하는 방향은 뭘까

좌표공간에서의 움직임

AI에서 방향은 북쪽이나 동쪽만 뜻하지 않아. 어떤 좌표들을 함께 바꿀 때 점이 어느 쪽으로 움직이는지를 뜻해. 매개변수 공간에서는 수백만 가중치의 변화 조합이고, 임베딩 공간에서는 표현이 달라지는 축이야.

손실 지형: 기울기 $\nabla L$ 는 손실이 가장 빠르게 커지는 방향이야. 손실을 줄이는 가장 가파른 방향은 그 반대인 $- \nabla L$ 이지.
임베딩 공간: 두 표현의 차이 벡터는 한 의미 상태에서 다른 상태로 가는 이동을 나타낼 수 있어. 유명한 단어 산술은 이런 관계가 일부 임베딩에서 나타난다는 직관이지 언제나 정확한 법칙은 아니야.
어텐션: query와 key의 내적으로 관련성 점수를 만들지만, ‘방향’ 하나가 곧 보고 있는 토큰을 뜻하는 건 아니야. 점수, softmax, value의 가중합까지 이어져야 출력이 돼.

값과 변화 지시는 다른 정보

손실값 하나는 현재 상태가 얼마나 나쁜지만 말해. 기울기 벡터는 각 매개변수를 조금 움직였을 때 손실이 어느 방향으로 얼마나 민감하게 변하는지 알려 줘. 그래서 갱신식 $w \leftarrow w - η \nabla L$ 에는 현재 위치, 방향, 발걸음 크기 $η$ 가 모두 들어가.

기울기가 있어도 항상 전역 최솟값으로 직행하는 건 아니야. 학습률, 곡률, 잡음, 안장점이 경로에 영향을 줘. 그래도 무작위로 헤매는 것보다 훨씬 유용한 국소 나침반이 되는 건 맞아.

기울기는 가장 가파른 오르막, 음의 기울기는 가장 가파른 내리막이야. 부호를 빼먹으면 경사하강법이 경사상승법으로 뒤집혀.

Code

기울기의 반대 방향으로 이동하기·python

import numpy as np

# 장난감 'loss landscape' — 원점 거리 제곱
def loss(w):
    return np.sum(w ** 2)

# Gradient = steepest *상승* 방향
# Negate 해서 descent
def grad(w):
    return 2 * w

w = np.array([3.0, 4.0])         # 나쁜 곳에서 시작 — loss = 25
for step in range(5):
    direction = -grad(w)         # 어느 쪽으로 움직일지
    w = w + 0.1 * direction      # 작은 발걸음
    print(f"step {step}: w = {w}, loss = {loss(w):.3f}")

Exercise

위 경사하강 코드에서 시작점과 학습률을 바꿔 실행해. 각 설정에서 기울기의 부호, 한 걸음의 크기, 손실 변화를 기록하고 수렴·진동·발산·느린 이동을 구분해.

Hint

학습률 1.0과 0.001을 시험해 봐. 같은 목적함수에서도 시작점에 따라 기울기 방향이 달라지고, 학습률은 그 방향으로 얼마나 멀리 움직일지를 정해.