비디오는 이미지 생성을 반복한 것이 아니다

머릿속 모형: 플립북의 각 장을 앞장을 보지 않고 따로 그린다고 해 보자. 서른 장 모두 개별 그림으로는 예뻐도 넘겨 보면 인물이 순간이동하고 크기와 색이 바뀌며 심하게 떨린다. 이미지 생성기를 서른 번 돌리는 것만으로는 영상이 되지 않는 이유야. 각 프레임이 다른 프레임을 알고 있어야 한다.

시간 축이 만드는 차원 폭발

이미지는 가로×세로의 2차원 픽셀 격자지만 비디오는 가로×세로×시간의 3차원 텐서다. 시간은 단순히 데이터 양만 늘리는 게 아니라 프레임 사이에 지켜야 할 관계를 추가한다.

이미지: 가로 × 세로 = 맞춰야 할 픽셀 약 100만 개

  비디오: 가로 × 세로 × 프레임 = 맞춰야 할 픽셀 약 3천만 개
          그리고 모든 픽셀이 공간과 시간 양쪽의 이웃과 맞아야 한다

  ┌────────────────────────────────────────────────┐
  │ 프레임 1   프레임 2   프레임 3   ... 프레임 N │
  │  ┌─────┐   ┌─────┐   ┌─────┐        ┌─────┐ │
  │  │     │──→│     │──→│     │──→ ... →│     │ │
  │  └─────┘   └─────┘   └─────┘        └─────┘ │
  │  공간만     공간+시간   공간+시간      공간+시간 │
  └────────────────────────────────────────────────┘

시간을 가로질러 지켜야 하는 것

• 정체성: 얼굴, 비율, 피부색이 모든 프레임에서 같은 사람이어야 한다.
• 움직임: 가속, 궤적, 속도가 물리적으로 부드럽게 이어져야 한다.
• 조명: 카메라와 피사체 움직임에 따라 그림자, 하이라이트, 색온도가 자연스럽게 변해야 한다.
• 환경: 배경과 소품은 움직이도록 지시하지 않았다면 그대로 있어야 한다.
• 의상: 몸을 따라 움직이되 갑자기 색이나 형태가 바뀌면 안 된다.
• 물리: 머리카락, 천, 물, 연기가 직관적인 물리 움직임을 따라야 한다.

이미지는 한 순간 안에서만 일관되면 되지만 비디오는 모든 순간 내부와 모든 순간 사이를 함께 맞춰야 한다. 제약 공간이 곱셈처럼 커지는 셈이야.

어려워도 발전은 실제야

2026년 기준 Runway Gen-4, Veo 3, Kling 3.0 같은 모델은 안정적인 캐릭터, 일관된 움직임, 동기화된 오디오까지 2년 전에는 불가능해 보이던 짧은 클립을 만든다. 2024년의 “인상적이지만 불안정함”에서 2026년의 “짧은 클립에는 제작 수준”으로 발전했다. 다만 왜 어려운지 알아야 한계 안에서 안정적인 장면을 설계할 수 있어.