피파 한 줄 정리: 1024×1024 RGB 이미지는 약 300만 개 값이야. 직접 다루기에는 비싸고 의미도 잡기 어려워서 VAE로 65,536개 값의 잠재 표현으로 압축한 뒤 작업해. 약 48배 작아져.
그림을 만들려면 화면의 모든 점에 빨강·초록·파랑 값을 바로 내놓으면 되지 않을까? 소설을 글자 하나씩만 생각하며 쓰기 어려운 것처럼, 원본 픽셀은 너무 낮은 수준이고 중복이 많으며 계산 비용도 커.
규모의 문제
1024×1024 이미지는 1,048,576픽셀이고 각 픽셀에는 RGB 세 채널이 있어. 모델이 만들어야 할 값은 정확히 3,145,728개야. 이웃 픽셀은 대개 비슷하므로 중복도 엄청나.
원본 픽셀 공간: 잠재 공간: 1024 × 1024 × 3 = 3,145,728 128 × 128 × 4 = 65,536 생성할 값 약 48배 작다 🟥🟧🟨🟩🟦🟪... ◼️◼️◼️◼️ (거대하고 중복됨) (작고 의미가 응축됨)
잠재 공간과 VAE
현대 모델은 Variational Autoencoder(VAE)로 이미지를 훨씬 작은 잠재 표현에 압축해. 단순 ZIP 파일과 달리 모양·색·구도·화풍 같은 의미를 남기는 압축이야.
- Encoder: 512×512×3 같은 전체 이미지를 64×64×4 같은 작은 잠재 tensor로 줄여 핵심 구조를 남기고 픽셀 중복을 버려.
- 확산 모델: 이 작은 공간에서 노이즈 제거, 생성, conditioning을 수행해.
- Decoder: 완성된 잠재 표현을 다시 전체 해상도의 픽셀로 풀어.
학습: 이미지 → [Encoder] → 잠재 표현 → [Decoder] → 복원 이미지 생성: 노이즈 → [잠재 공간의 확산] → 깨끗한 잠재 표현 → [Decoder] → 이미지
세 가지 이점
- 속도: 300만 개 대신 65K 값을 다루므로 한 단계 계산량이 약 48분의 1이 되어 몇 시간이 아니라 몇 초 안에 생성할 수 있어.
- 의미: 픽셀 노이즈보다 사물 모양·구도·화풍 같은 의미 구조를 다루므로 매 단계가 의미 있는 변화가 돼.
- 품질: VAE가 구조 표현을, 확산 모델이 내용 생성을 맡아 각 부분을 따로 최적화할 수 있어.
핵심 정리
- 현대 모델은 원본 픽셀보다 약 48배 작은 잠재 공간에서 작업한다.
- VAE encoder는 이미지를 잠재 표현으로 압축하고 decoder는 다시 픽셀로 푼다.
- 잠재 공간에는 중복 픽셀보다 의미 있는 이미지 구조가 담긴다.
- Latent Diffusion은 Stable Diffusion, FLUX를 비롯한 현대 이미지 생성기의 토대다.