피파 한 줄 정리: 확산 모델의 핵심은 단순해. 노이즈를 조금씩 제거하는 법을 배우면 그 능력을 반복해 순수한 노이즈에서 이미지를 만들 수 있어. 조각가가 돌을 깎는 모습으로 기억해.
사진에 TV 잡음 같은 무작위 노이즈를 한 겹씩 더한다고 상상해봐. 충분히 반복하면 원본은 사라지고 순수한 잡음만 남아. 확산 모델은 이 과정을 거꾸로 수행하는 법을 배워. 노이즈에서 시작해 잡음을 조금씩 걷어내면 하나의 이미지가 나타나.
정방향(학습): 노이즈를 차츰 더한다 🖼️ → 🖼️+🌫️ → 🌫️+🌫️ → 🌫️🌫️🌫️ → 🎲 순수 노이즈 역방향(생성): 노이즈를 차츰 덜어낸다 🎲 → 🌫️🌫️ → 🌫️+🌁 → 🌁+🖼️ → 🖼️ 완성 이미지
모델은 각 단계의 노이즈가 어떤 모습인지 보고, 지금보다 조금 더 깨끗한 상태를 예측하도록 훈련돼. 이 단순한 예측을 되풀이하면 노이즈의 층이 벗겨지고 이미지가 드러나.
왜 노이즈에서 출발할까
노이즈에는 기존 구조와 제약이 없어 가능한 모든 방향으로 갈 수 있어. 무작위성으로 만든 빈 화면이고, 노이즈 제거 과정이 그 위에 그림을 그리는 셈이야.
조각가의 비유
조각가는 대리석에 상을 더하지 않고 불필요한 돌을 깎아 안에 있던 형태를 드러낸다고 말하곤 해. 수학적으로 어떤 노이즈 표본에서도 어떤 이미지로 갈 수 있으므로, 확산 모델도 노이즈를 덜어내며 가능한 이미지를 드러낸다고 생각할 수 있어.
- 초기(노이즈가 많음): 전체 구도, 거친 배치, 큰 모양, 색 조합을 정해.
- 중기: 얼굴과 사물이 알아볼 수 있게 되고 공간 관계가 고정돼.
- 후기(노이즈가 적음): 피부결, 직물 짜임, 미세한 빛, 날카로운 경계가 나타나.
1~5단계: 🟫🟫🟫 큰 결정 — 배치·구도·주요 형태 6~15단계: 🗿 구조 — 사물과 얼굴이 생김 16~30단계: 🏛️ 정제 — 세부·질감·빛 30~50단계: 🖼️ 마무리 — 선명한 마지막 세부
핵심 정리
- 확산은 노이즈에서 시작해 조금씩 제거하며 이미지를 드러낸다.
- 모델은 노이즈를 더한 과정을 거꾸로 돌려 더 깨끗한 상태를 예측한다.
- 초기 단계는 구도와 배치를, 후기 단계는 미세한 세부를 정한다.
- 구조 없는 노이즈에서 시작하므로 어떤 이미지 방향으로도 갈 자유가 있다.