Isolation 문제

LLM 은 얼린 문서로 가득한 방에 갇힌 천재 분석가야. 책 · 코드 · 대화 · 논문 — 어마어마한 양의 텍스트를 다 읽었고, 그 독서로 추론 · 글쓰기 · 번역에서 일반적인 능력에 가까운 걸 내면화했어. 그게 다들 흥분하는 부분이지. 문제는 방이야.

모델 지식은 training cutoff 에서 멈춰. 지난 주 종가 물어보면 못 도와줘. 우리 서비스 지금 살아있는지 물어보면 알 수가 없어. Slack 메시지 대신 보내달라고 하면 — 너한테 건네받은 context 라는 직사각형 밖으로 손을 못 뻗어. 방 밖으로 나가는 채널 없이는, 모델은 마지막으로 읽은 세상을 묘사할 수만 있어 — 묘사만, 절대 만지진 못해.

이건 bug 도 아니고, temperature 설정도 아니야. Transformer 가 동작하는 모양 자체야: 고정된 weight matrix, 고정된 context 크기, token 을 토해내는 한 번의 forward pass. 그 pass 바깥에 있는 거 — database, 시계, filesystem, calendar — 는 누군가가 텍스트로 부어넣기 전까진 invisible 해. 그래서 실용적 질문은 이거: 누가 붓고 누구의 권한으로? 이 quest 의 모든 protocol 이 답하려는 질문이 바로 이거야.

protocol 이라는 단어에 얼마나 많은 게 걸려 있는지 봐. 우린 모델을 더 똑똑하게 만들지 묻는 게 아니야. 우린 모델한테 바깥 세상과의 contract 를 어떻게 줄지 묻는 거야 — 무엇을 요청할 수 있고, 무엇을 받을 거고, 뭔가 잘못됐을 때 어떻게 행동해야 하는지에 대한 안정적이고 기계가 검증할 수 있는 합의. 똑똑함은 이미 있어. 빠진 건 contract 였어.

Code

Protocol 없으면 — 모델은 묘사만·python

# 천재이자 갇혀있음: 모델은 날씨에 *대해* 말할 순 있지만,
# 날씨를 *가져올* 순 없어.
from openai import OpenAI

client = OpenAI()
response = client.responses.create(
    model="gpt-4.1",
    input=[{"role": "user", "content": "What is the weather in Seoul right now?"}],
)
print(response.output_text)
# -> 서울 일반 기후에 대한 자신만만한 한 단락.
# -> 지금 이 분의 실제 기온에 대한 건 없음. 모델은 방 밖으로
#    나가는 문이 없어.

Exercise

시간마다 답이 바뀌는 질문 하나 골라 (실시간 날씨, 현재 가격, 서버 상태). 그 질문을 좋아하는 LLM 한테 tool 없이 던져보고 실패 양상을 글로 적어 — 숫자를 hallucinate 하는지, 거절하는지, 빠져나가는지. 같은 모델이 정답을 주려면 뭐가 바뀌어야 하는지 적어. 아직 고치는 게 아니야 — protocol 이 결국 닫아낼 gap 의 모양을 글로 박는 거야.

Code

External links

Exercise

Progress

댓글 0