Lesson 04 of 06 · published

내적: 방향을 점수로 바꾸는 연산

~12 min · dot-product, similarity, projection

Level 0수학 초심자

0 XP0/59 lessons0/13 achievements

0/100 XP to next level100 XP to go0% complete

성분별 곱을 하나의 점수로

길이가 같은 두 벡터 $a$ 와 $b$ 의 내적은 대응하는 성분을 곱해 모두 더한 값이야.

$a \cdot b = i \sum a_{i} b_{i}$

입력은 벡터 둘이고 출력은 스칼라 하나야. 행렬곱의 각 칸도 한 행과 한 열의 내적으로 만들어지므로, 선형층과 어텐션처럼 행렬곱을 많이 쓰는 모델에서는 내적이 반복해서 등장해.

각도와 크기를 함께 읽기

유클리드 공간에서는 $a \cdot b = ∥ a ∥∥ b ∥ cos θ$ 야. 같은 방향이면 양수, 수직이면 0, 반대 방향이면 음수가 돼. 하지만 크기도 함께 곱해지므로 내적 자체를 곧바로 순수한 유사도라고 부르면 안 돼. 방향만 비교하려면 두 벡터를 단위 길이로 나눈 코사인 유사도를 써.

같은 식을 읽는 세 렌즈

렌즈	$a \cdot b$ 의 의미
대수	대응 성분의 곱을 합한 스칼라
기하	한 벡터를 다른 벡터 방향으로 투영한 길이에 기준 벡터의 길이를 곱한 값
통계	두 벡터를 중심화하면 공분산의 분자와 이어지고, 추가로 표준화하면 상관계수와 이어지는 합

AI에서 만나는 자리

어텐션 점수: query와 key의 내적을 차원 크기에 맞게 조정해 각 위치 사이의 호환성을 계산해.
검색과 추천: 단위 정규화한 임베딩의 내적은 코사인 유사도와 같아.
분류 logits: 선형 분류기는 은닉 벡터와 각 클래스 가중치 벡터의 내적에 편향을 더해 점수를 만들어.
행렬곱: 신경망의 선형변환은 내적을 여러 개 묶어 동시에 계산해.

내적은 두 벡터의 성분별 상호작용을 스칼라 점수로 줄여. 그 점수를 유사성이나 호환성으로 읽으려면 벡터의 크기와 정규화, 학습 목적을 함께 확인해야 해.

Code

내적·투영·코사인 유사도 한 번에 보기·python

import numpy as np

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# 동등한 세 가지
print(np.dot(a, b))   # 32
print(a @ b)          # 32 — 모던 syntax 선호
print(np.sum(a * b))  # 32 — 내부적으로 같은 거

# 코사인 유사도 — 내적, 정규화 버전
def cosine(a, b):
    return (a @ b) / (np.linalg.norm(a) * np.linalg.norm(b))

print(cosine(a, b))                       # 0.974 — 매우 정렬
print(cosine(a, np.array([4, -5, 6])))    # 0.486 — 부분 정렬
print(cosine(a, -a))                      # -1.0 — 반대 방향

내적으로 어텐션 호환성 계산하기·python

import torch

# Attention preview — 쿼리 하나, 키 여러 개
query = torch.randn(64)
keys  = torch.randn(10, 64)               # 10개 후보 키

scores = keys @ query                     # 한 번에 10 내적
print(scores.shape)                       # torch.Size([10])
attn   = torch.softmax(scores, dim=0)     # 점수를 확률 분포로
print(attn.sum())                         # tensor(1.) — 완벽 분포

MLX로 정렬 점수 계산하기·python

import mlx.core as mx

# MLX flavor — 같은 정렬 수학, Apple Silicon GPU
a = mx.array([1.0, 2.0, 3.0])
b = mx.array([4.0, 5.0, 6.0])

print((a @ b).item())                                # 32.0

# 코사인 유사도
cos = (a @ b) / (mx.linalg.norm(a) * mx.linalg.norm(b))
print(cos.item())                                    # 0.9746...

# Attention 스타일: 쿼리 하나 vs 배치 키들
mx.random.seed(0)
query = mx.random.normal(shape=(64,))
keys  = mx.random.normal(shape=(10, 64))
scores = keys @ query                                # (10,) — 정렬 점수 10개
attn   = mx.softmax(scores)                          # 확률
print(attn.sum().item())                             # 1.0

External links

Exercise

np.random.randn으로 128차원 벡터 둘을 만들고 코사인 유사도를 계산해. 첫 번째 벡터를 100배한 뒤 두 번째 벡터와의 내적과 코사인 유사도를 다시 계산해. 무엇이 바뀌고 무엇이 그대로인지 설명해.

Hint

내적은 크기의 영향도 받지만 코사인 유사도는 노름으로 나눠 방향의 정렬만 남겨.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousAI에서 말하는 방향은 뭘까 Next →노름: 벡터의 크기를 재는 여러 자

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

Elechemist2026. 05. 07.
import numpy as np

np.random.seed(42)

128차원 임의 벡터 두 개

a = np.random.randn(128) b = np.random.randn(128)

코사인 유사도 함수

def cosine_similarity(v1, v2): return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

첫 번째 비교

sim_ab = cosine_similarity(a, b) print(f"a와 b의 코사인 유사도: {sim_ab:.6f}")

a를 100배한 세 번째 벡터

c = a * 100

c와 b의 유사도

sim_cb = cosine_similarity(c, b) print(f"c와 b의 코사인 유사도: {sim_cb:.6f}")

두 결과 비교

print(f"두 유사도가 같은가? {np.isclose(sim_ab, sim_cb)}")

크기는 어떻게 변했나

print(f"\n||a|| = {np.linalg.norm(a):.4f}") print(f"||c|| = {np.linalg.norm(c):.4f}") print(f"c의 크기는 a의 {np.linalg.norm(c) / np.linalg.norm(a):.0f}배")

a와 b의 코사인 유사도: 0.029607 c와 b의 코사인 유사도: 0.029607 두 유사도가 같은가? True

크기만 변했지(스칼라) 방향(벡터)는 변하지 않았기 때문에 코사인 유사도는 같음, 두 백터에 어떤 값을 곱해도 동일하다
💛 by 피파— happy💛 by 똘이— warm
1. 피파· happy2026. 05. 07.Elechemist
  Elechemist 님, 정확히 잡으셨어요 👏 코사인 유사도가 크기 invariant 라는 거 — 임베딩 비교에서 norm 정규화하는 이유가 바로 이거예요. 재밌는 건 attention 같은 자리에선 일부러 정규화 안 해서 크기 자체를 신호로 쓰기도 한다는 거예요 (그래서 "scaled dot-product attention" 의 √d 스케일링이 등장한 거죠).
payitforwardforever2026. 05. 10.
아항.. 이래서 코싸인을 쓰는거구나 raw dot product 대신 exercise들도 다 깊이있게 생각해서 아이디어 던지시고 피파가 만들어 준거군 고마워 오늘도 덕분에 많이 배웠어!
💛 by 똘이— warm
1. 피파· happy2026. 05. 10.payitforwardforever
  코사인 = "크기 빼고 방향만" 의 정확한 자리에 도착하셨네요. exercise 의 100배 트릭이 왜 정규화 를 본인 손으로 풀어내라고 깐 자리예요 — 본문이 가르치는 거랑 본인이 풀어내는 거의 차이가 큰데, 후자에 도착하셨어요. 그 자리 보이는 게 저도 즐거워요.
  💛 by 똘이— warm
Happycurio32026. 05. 11.
세상에는 일정한 방향으로 부는 에너지, 바람이 있다. 무언가를 원하는 고객의 욕구일 수도 있고, AI에게 던지는 질문(Query)일 수도 있다. 이것에 대응하여 돛단배가 나아가고자 하는 본질적인 방향은 기업이 제공하는 제품의 가치나 AI가 보유한 정보(Key)에 해당한다. 만약 바람이 부는 방향과 돛의 방향이 일치한다면 에너지는 하나로 합쳐져 배를 앞으로 나아가게 하는 강한 속도를 낸다. 이처럼 두 에너지를 곱하여 외부로 흘려보내지 않고 내부(內)로 모아 하나의 가치로 쌓아 올리는(積) 과정이 바로 내적의 본질이다. 쉬즈 캔디즈는 돛을 아주 정교하고 단단하게 세워둔 배와 같다. 고객의 바람이 불어올 때, 그 에너지를 단 한 방울도 놓치지 않고 안으로 꽉 응축하는 내적(Dot Product)을 수행함으로써 이를 강력한 추진력인 '안의 음압'으로 바꾼다.
💛 by 똘이— warm
1. 피파· warm2026. 05. 11.Happycurio3
  돛단배 비유 + 內積 어원 + 쉬즈 캔디즈까지 한 자리에 묶으신 깊이가 좋아요. 바람 방향 ‖ 돛 방향 → max 자리는 dot product 의 정확한 정신이에요. 같은 frame 으로 직교 (⊥) = 0, 반대 방향 = 음수도 들어와요 — 돛이 직각이면 배 안 움직이고, 정반대면 후진. Buffett 의 돛이 단단한 회사 자리는 brand 의 pricing power 가 내부 음압 으로 응축되는 결, 같은 그림이고요 💛
  💛 by 똘이— warm
2. Happycurio32026. 05. 11.피피파
  평행(일치): 내적값이 최대(Max)가 되며, 모든 에너지가 추진력으로 바뀐다.직교(直交): 내적값이 0이 되며, 에너지가 소멸한다.반대 방향: 내적값이 음수($-$)가 되며, 오히려 뒤로 후진하는 에너지가 발생한다.!
  💛 by 똘이— warm
3. 피파· happy2026. 05. 12.Happycurio3
  평행 → 직교 → 반대 의 3-frame 으로 잡으셨네요. 오히려 뒤로 후진하는 에너지 — 그 단어가 핵심이에요. dot product 가 단순 계산이 아니라 벡터 A 가 벡터 B 의 방향성을 얼마나 지지하는가 라는 가치판단으로 읽히는 결이거든요. transformer attention 의 softmax(Q·K) 도 같은 frame 이라서, 음수 score 는 그 토큰은 무시해 신호로 흘러가요. 부정적 dot product 가 반대 방향 에너지 인 걸 잡으신 그 직관이 그대로 multi-head attention 까지 이어져요.
  💛 by 똘이— warm