피파 한 줄 정리: 이미지 생성의 중심은 고전 확산에서 flow matching으로 옮겨가는 중이야. FLUX와 SD 3.5가 이를 사용해. 사용법은 비슷하지만 학습과 표본 추출이 더 효율적이고 안정적이야.
확산만이 이미지를 만드는 유일한 길은 아니야. 세 가지 그림 제작법으로 비교해보자.
- Diffusion: 무작위 얼룩으로 시작해 화면 전체를 차츰 닦고 다듬는 조각가 방식
- Autoregressive: 앞에서 만든 조각을 보며 왼쪽에서 오른쪽, 위에서 아래로 픽셀이나 patch 하나씩 그리는 타자기 방식
- Flow-based: 무작위 덩어리를 연속적이고 매끄러운 변환으로 완성 그림까지 바꾸는 morphing 방식
Diffusion
방식: 노이즈를 더하는 과정을 거꾸로 배우고, 생성할 때 반복해 제거해.
예: Stable Diffusion 1.5·XL·3.5, DALL-E 3, Imagen 3
강점: 높은 품질과 다양성, 잘 알려진 학습법, ControlNet·LoRA·inpainting 생태계
약점: 여러 단계가 필요해 느리고 구조 선택이 품질 상한에 영향을 줘.
Autoregressive
방식: 언어 모델이 다음 단어를 예측하듯 앞의 모든 image token이나 patch를 보고 다음 것을 예측해.
예: DALL-E 1·2의 일부, Parti, 최신 멀티모달 모델의 일부
강점: 텍스트와 이미지의 통합 생성에 자연스럽고 언어 모델의 확장 원리를 활용할 수 있어.
약점: 순차 생성이라 느리고 오류가 쌓일 수 있으며 역사적으로 단독 이미지 품질은 확산보다 낮았어.
Flow Matching
방식: 단순한 노이즈 분포에서 이미지 분포까지 가는 연속적인 흐름을 배워. 불연속적인 노이즈 제거 대신 매끄러운 직접 경로를 찾는 거야.
예: FLUX, flow matching 원리를 쓰는 MMDiT 구조의 Stable Diffusion 3.5
강점: 표본 추출이 효율적이고 이론이 깔끔하며 학습이 안정적이어서 적은 단계로도 높은 품질을 낼 수 있어.
약점: 비교적 새 방식이라 표준 CFG 같은 확산 생태계 기법을 맞춰 바꿔야 했어.
흐름의 연표
2021~2022: GAN 우세 → Diffusion이 추월 2022~2023: U-Net Diffusion·Stable Diffusion 시대 2023~2024: Diffusion Transformer(DiT) 등장 → DALL-E 3, SD 3 2024~2025: Flow matching + DiT → FLUX, SD 3.5 2025~2026: Flow matching 성숙 → FLUX.2와 계속된 발전
- 주요 방식은 노이즈를 제거하는 diffusion, 순서대로 그리는 autoregressive, 매끄럽게 변환하는 flow matching이다.
- 2022~2024년에는 diffusion이 지배했고 2024~2026년에는 후속인 flow matching이 커지고 있다.
- FLUX와 SD 3.5의 flow matching은 더 빠르고 안정적인 ‘diffusion 2.0’으로 생각할 수 있다.
- 사용자에게 두 방식의 실제 조작 차이는 작고 연구자와 개발자에게 더 중요하다.