이해가 아니라 예측

생성 모델은 세계를 이해한 뒤 그림을 그리지 않아. 학습한 상관관계로 그럴듯한 결과를 예측해.

지난 100년의 날씨 기록을 외운 예보관을 생각해봐. “내일은 맑다”고 말할 때 날씨를 조종하는 것도, 대기의 모든 분자를 이해하는 것도 아니야. 오늘의 조건이 과거에 맑은 날로 이어진 패턴과 닮았다는 사실을 바탕으로 정교하게 예측하지. 이미지 모델도 마찬가지야. “해 질 녘 해변에서 공을 쫓는 golden retriever”를 받으면 뼈 구조와 바람의 물리부터 추론하지 않고, 비슷한 텍스트와 짝지어진 이미지 패턴에 비춰 어떤 장면이 그럴듯한지 계산해.

상관관계는 개념 이해가 아니다

우리가 기대하는 과정:          실제에 가까운 과정:

“사과 3개를 그려”              “사과 3개를 그려”
       ↓                             ↓
1, 2, 3을 센다                ‘사과 세 개’와 연결된 이미지에는
       ↓                       둥근 물체가 대략 이만큼 있더라
정확히 3개를 그린다                  ↓
       ↓                       때로 2개, 때로 4개
언제나 성공 ✅                 통계적 예측 🤷

모델은 “사과 세 개”라는 말과 사과 비슷한 물체 약 세 개가 놓인 이미지 사이의 상관관계를 배웠을 뿐, 수를 세는 절차를 배운 것은 아니야. 두 개나 네 개가 나오는 건 멍청해서가 아니라, 설계대로 그럴듯한 시각 패턴을 예측했기 때문이야.

제작자의 진단이 달라진다

• 프롬프트 실패: 모델이 무시한 것이 아니라 원하는 패턴을 말이 안정적으로 깨우지 못한 것일 수 있어.
• 결과의 들쭉날쭉함: 통계적 예측은 자연스럽게 달라지므로 같은 프롬프트도 다른 결과를 내.
• 강점과 약점: 얼굴·풍경·흔한 구도에는 강하고, 정확한 글자·개수·낯선 조합처럼 패턴이 희박하거나 불규칙한 일에는 약해.
• 제어 방식: 길게 설명해 ‘이해’시키기보다 어떤 말과 시각 단서가 어떤 결과를 안정적으로 깨우는지 배워야 해.