피파 한 줄 정리: 이미지 생성은 2024년에 제작 수준에 닿았고 영상은 2026년에 거의 따라왔어. 영상이 어려운 까닭은 픽셀이 많아서만이 아니라 시간적 일관성이라는 별도 문제를 풀어야 하기 때문이야.
2024년에는 이미 AI 이미지가 납품할 만큼 훌륭해졌지만 영상은 빠르게 발전하면서도 여전히 따라오는 중이었어. 차이는 단순히 영상 파일이 더 크다는 데 있지 않아. 문제의 구조 자체가 달라.
이미지 생성은 한 폭의 걸작을 그리는 일이고, 영상 생성은 연극을 연출하는 일에 가까워. 그림은 멈춘 한순간만 완벽하면 돼. 연극은 모든 배우가 같은 인물로 남아 동선을 기억하고, 서로 반응하며, 물리를 지키는 일을 수백 순간 동안 이어가야 해. 한순간만 깨져도 환상이 무너져.
난이도를 곱하는 세 요소
1. 시간적 일관성
1번 프레임과 120번 프레임에서 얼굴이 같아야 하고 옷 색과 배경도 멋대로 바뀌면 안 돼. Sora 2, Kling 3.0, Veo 3.1 같은 최고 모델도 긴 클립의 인물 일관성에는 어려움을 겪으며, 괜찮은 장면 하나를 얻으려고 15~20번 다시 만들기도 해.
이미지: 한 프레임만 훌륭하면 된다
47번 프레임: ✅ 완벽
영상: 모든 프레임이 훌륭하고 서로 이어져야 한다
1: ✅ 2: ✅ 3: ✅ ... 47: 😰 48: ❌ 표류!
2. 움직임의 일관성
걷는 사람의 다리는 자연스럽게 순환하고, 머리카락은 발걸음에 맞춰 튀며, 그림자는 몸과 함께 움직여야 해. 모델은 사물이 어떻게 생겼는지만 아니라 어떻게 움직이는지도 배워야 해. 정지된 외형보다 훨씬 넓은 패턴 공간이야.
3. 계산 규모
1024×1024 이미지에는 약 300만 개의 픽셀 값이 있어. 같은 해상도와 24fps로 만든 5초 영상에는 약 3억 6천만 개, 곧 약 120배의 값이 들어가. 이 값들은 독립적이지 않고 시간에 따라 복잡하게 얽혀 있어서 필요한 계산량은 몇 자릿수나 커져.
2025~2026년의 위치
- Sora 2: 자연스러운 카메라 움직임과 영화 같은 품질, 60초 클립
- Veo 3.1: 물리 정확도 선두와 동기화된 native audio
- Kling 3.0: 비교적 합리적인 가격의 4K와 강한 물리적 사실성
- Runway Gen-4: 전문 후반 작업에 유리한 시간적 일관성
손가락 결함과 기본 움직임 문제는 대부분 줄었지만, 긴 구간의 인물 일관성, 여러 인물의 복잡한 상호작용, 30~60초를 넘는 일관된 시퀀스는 아직 과제야. 영상은 대략 2022~2023년 이미지 생성과 비슷한 위치라서 인상적인 시연은 가능해도 실제 제작에는 많은 선별과 편집이 필요해.
- 영상은 시간적 일관성, 움직임의 일관성, 계산 규모 때문에 근본적으로 더 어렵다.
- 이미지는 완벽한 한순간이면 되지만 영상은 서로 의존하는 수백 프레임을 이어야 한다.
- 2025~2026년에 크게 발전했어도 실제 제작에는 여전히 엄격한 선별이 필요하다.
- 긴 영상을 한 번에 만들기보다 짧은 클립을 생성해 편집하는 편이 현실적이다.