Text-to-Image부터 영상까지, 생성 방식의 지도

생성형 AI는 도구 하나가 아니라 도구 상자야. 방식마다 받아들이는 입력과 내놓는 결과가 다르고, 알맞은 작업도 달라.

이미지 생성 방식

Text-to-Image(T2I)는 글만 받아 새 이미지를 만들어. 출발 화면이 없을 때 탐색하고 발상하기 좋아.

Image-to-Image(I2I)는 참조 이미지와 글을 함께 받아 원본 구조를 길잡이로 쓰고 프롬프트에 맞게 다시 해석해. 화풍 변환, 자세 참조, 반복 개선에 알맞아.

Inpainting은 기존 이미지의 한 구역을 mask로 지정해 그곳만 다시 만들어. 국소 문제를 고치는 핵심 도구야.

Outpainting은 원본 테두리 바깥으로 화면을 늘려 장면을 자연스럽게 이어가. 화면비를 바꾸거나 프레임 밖을 드러낼 때 써.

T2I:      “프롬프트” ─────────────────────▶ 🖼️ 새 이미지
I2I:      “프롬프트” + 🖼️ 참조 ──────────▶ 🖼️ 새롭게 해석한 이미지
Inpaint:  🖼️ 이미지 + 🎭 mask + “프롬프트” ▶ 🖼️ 일부를 고친 이미지
Outpaint: 🖼️ 이미지 + ⬜ 확장 화면 ───────▶ 🖼️ 넓어진 이미지

영상 생성 방식

Text-to-Video(T2V)는 글에서 영상을 만들어. Sora 2, Veo 3.1, Kling 3.0은 5~60초 클립을 생성할 수 있어. 2026년 초 기준 손가락 결함은 대부분 줄었고 시간적 일관성도 크게 좋아졌지만, 긴 이야기를 계속 이어가는 일은 여전히 어려워.

Image-to-Video(I2V)는 정지 이미지를 움직여. 첫 프레임에 인물 외형·구도·조명·화풍이 이미 고정되어 있어서 순수 T2V보다 안정적인 경우가 많아.

Video-to-Video(V2V)는 기존 움직임을 보존하며 화풍, 해상도, 장면 요소를 바꿔. 촬영 영상을 다시 꾸미거나 여러 프레임에 같은 효과를 적용할 때 유용해.

더 넓어지는 방식

• 참조 기반 생성: 정체성·화풍·구도를 안내하는 여러 이미지를 제공해.
• 대상 중심 생성: 특정 인물·제품·캐릭터를 학습하거나 조건으로 고정해.
• 제어 기반 생성: depth map, edge map, pose skeleton, segmentation mask로 구도를 정밀하게 잡아.
• 오디오 동시 영상: Veo 3.1과 Seedance 2.0처럼 영상과 맞는 소리를 함께 생성해.