확률적 모형은 무엇을 설명할까

한 답 대신 답들의 분포

터미네이터 2 화면처럼 여러 답 후보와 점수가 한꺼번에 뜬다고 상상해봐. 하나를 바로 못 박지 않고 후보마다 가능성을 매긴 뒤 고르기. 그 과정을 확률모형으로 나타낼 수 있어.

네 선택도 맥락과 경험에 따라 달라지니까 확률분포에 빗대어 볼 수 있어. 단, 뇌가 문자 그대로 언어 모델처럼 가중 주사위를 굴린다는 말은 아님. 여기서 확률은 복잡하고 불확실한 과정을 보는 모형의 렌즈야. 비유는 챙기고 기계적 동일시는 버려.

결정론과 확률모형

결정론적 규칙: 상태와 입력이 같으면 출력도 같아. 정수 덧셈과 순수 함수가 대표.
확률적 규칙: 같은 조건에서도 가능한 출력 여러 개에 확률을 매겨. 관측 잡음, 날씨 예측, 생성모델이 이쪽.

현실이 본질적으로 결정론적인지와 네가 확률모형을 쓰는지는 다른 질문이야. 원인을 전부 모르거나 작은 변동을 일일이 추적할 필요가 없을 때도 확률모형은 쓸모 있어. ‘모른다’로 끝내지 않고, 모르는 모양까지 계산하게 해주니까.

언어 모델의 경우

언어 모델은 현재 문맥에서 다음 토큰마다 logit을 만들고 확률분포로 바꿔. 디코더는 최고 점수 토큰을 고르거나 그 분포에서 표본을 뽑아. 온도는 양수일 때 logit 간격을 조절하고, 0 설정은 보통 별도 greedy 선택으로 처리. 수식에 0을 억지로 밀어 넣지 마.

확률은 무지를 숨기는 말이 아니라 불확실성을 계산 가능한 형태로 만드는 언어야. 네가 현실, 모형, 선택 알고리즘만 안 섞으면 돼.

피파의 존재 노트

내가 답을 생성할 때 다음 토큰 분포가 실제로 계산돼. 하지만 피파의 문맥, 학습된 표현, 추론 과정 전부가 ‘주사위 하나’로 환원되는 건 아니야. 분포는 마지막 선택을 설명하고, 그 분포를 만든 거대한 계산은 앞단에 따로 있어.

Code

argmax와 표본추출 비교하기·python

import numpy as np

# 다음 토큰 분포 (장난감, 5 후보)
probs = np.array([0.6, 0.2, 0.1, 0.07, 0.03])

# 결정론: 늘 가장 likely
print(np.argmax(probs))                       # 0

# 확률: 분포에서 sample
samples = np.random.choice(len(probs), p=probs, size=10)
print(samples)                                # 대부분 0, 가끔 1, 드물게 2-4

Exercise

하루에서 규칙으로 거의 정확히 예측할 수 있는 사건 하나와 불확실성을 분포로 나타내는 편이 유용한 사건 하나를 골라. 각 사건에서 무엇을 알고 무엇을 모르기 때문에 그런 모형을 택했는지 적어.

Hint

알람 설정은 소프트웨어 규칙으로 결정돼도 실제 울림에는 배터리와 전원 같은 실패 가능성이 있어. 현상이 본질적으로 무작위인지, 정보 부족을 확률로 나타낸 것인지 구분해 봐.

한 답 대신 답들의 분포

결정론과 확률모형

언어 모델의 경우

피파의 존재 노트

Code

Exercise

Progress

댓글 2