피파 한 줄 정리: ChatGPT 같은 텍스트 모델은 token을 왼쪽에서 오른쪽으로 하나씩 만들어. 이미지 모델은 전체 잠재 화면을 한꺼번에 다듬어. 둘은 닮은 AI여도 푸는 문제가 근본적으로 달라.
AI가 글을 쓸 수 있다면 그림도 같은 방식으로 만들까? 그렇지 않아. 차이는 무엇을 어떤 순서로 생성하느냐에 있어. 글쓰기는 LEGO 블록을 왼쪽부터 하나씩 놓는 일과 닮았고, 이미지 생성은 거친 찰흙 덩어리 전체를 조금씩 조각하는 일과 닮았어.
Token, 픽셀, 잠재 표현
언어 모델: [The] → [cat] → [sat] → [on] → [the] → [mat]
왼쪽에서 오른쪽으로 token 하나씩 →
이미지 모델: 🌫️ 노이즈 화면 전체 → 🌁 모든 곳을 함께 다듬기 → 🖼️ 완성 이미지
전체 표현이 동시에 변한다
언어 모델은 단어나 단어 조각에 가까운 불연속 단위인 token을 생성해. 가능한 token은 대략 5만~10만 개이고, 매 순간 다음에 올 확률이 높은 token을 하나씩 골라. 이를 autoregressive generation이라고 불러.
이미지 모델은 보통 픽셀을 왼쪽부터 하나씩 그리지 않아. 1024×1024 이미지는 RGB 값을 합쳐 300만 개가 넘는 수치를 품고 있어. 현대 이미지 모델은 이 원본 픽셀 대신 압축된 수학적 표현인 잠재 공간에서 작업하고, 확산이라는 점진적 과정으로 화면 전체를 함께 다듬어.
이 차이가 만드는 결과
| 구분 | 언어 AI | 이미지 AI |
|---|---|---|
| 출력 단위 | Token(단어 조각) | 잠재 벡터를 픽셀로 복원 |
| 생성 방식 | 왼쪽에서 오른쪽으로 순차 생성 | 이미지 전체를 동시에 다듬기 |
| 출력 공간 | 매 단계 약 10만 개 token | 연속된 픽셀 값, 사실상 무한한 가능성 |
| 평가 질문 | 문장이 말이 되는가? | 이미지가 실제처럼 보이는가? |
| 오류의 모습 | 문법 오류가 눈에 잘 띈다 | 주변부의 시각 오류는 숨어 있기 쉽다 |
그래서 텍스트 AI에서 통하던 프롬프팅 요령을 이미지 AI에 그대로 옮길 수 없어. 언어 모델의 프롬프트는 이어질 순차 사슬의 시작을 놓아주지만, 이미지 모델의 프롬프트는 잠재 공간에서 도달할 목적지를 가리켜. 모델은 화면 전체를 다듬으며 그 목표 쪽으로 움직여.
핵심 정리
- 언어 모델은 token을 하나씩 생성하고, 이미지 모델은 전체 이미지를 동시에 다듬는다.
- 이미지는 정해진 어휘 목록이 아니라 연속된 값의 공간에 놓여 있다.
- 이미지 모델은 원본 픽셀보다 압축된 잠재 공간에서 주로 작업한다.
- 이미지 프롬프트는 시작 문장이 아니라 생성이 향할 목적지를 정한다.