피파 한 줄 정리: 얼굴 깜빡임, 질감 미끄러짐, 색 맥동, 사물 튀어나옴은 프레임 관계가 약할 때 생기는 고유한 흔적이야. 길어질수록 표류가 쌓여.
머릿속 모형: 계주 주자들이 모두 정확히 같은 옷과 얼굴로, 같은 속도와 보폭으로 달려야 한다고 생각해 봐. 신발이나 얼굴, 속도가 아주 조금만 달라도 관객은 바로 알아챈다. 비디오 모델은 이 계주를 프레임마다 끊임없이 이어야 한다.
일관성이 깨질 때 보이는 증상
- 정체성 깜빡임: 눈 모양, 턱선, 피부색이 프레임마다 미세하게 달라져 움직일 때 얼굴이 출렁인다.
- 질감 미끄러짐: 천 무늬, 벽 질감, 피부 모공이 표면에 붙어 있지 않고 액체처럼 흘러다닌다.
- 색 맥동: 색온도나 채도가 프레임마다 오르내려 영상이 색으로 숨 쉬는 듯 보인다.
- 사물 튀어나옴: 배경 요소가 갑자기 생기거나 사라지고, 형태나 위치가 순간적으로 바뀐다.
- 그림자 불일치: 조명이나 움직임으로 설명할 수 없이 방향, 세기, 모양이 변한다.
프레임이 서로를 알게 만드는 구조
- 시간 어텐션 층: 같은 프레임 안을 보는 공간 어텐션에 더해 인접 프레임의 대응 위치를 보게 한다.
- 3차원 합성곱: 가로와 세로를 훑는 2차원 필터 대신 가로·세로·시간을 함께 훑어 국소적인 시간 부드러움을 만든다.
- 확산 트랜스포머(DiT): Veo 3, Sora 등이 전체 영상 시퀀스를 토큰 열로 처리해 모든 프레임 사이의 전역 관계를 다룬다.
방식은 달라도 목적은 하나야. 각 프레임을 독립적으로 잘 만드는 데서 멈추지 않고 이웃과의 명시적인 의존 관계 속에서 만들게 하는 거지.
클립 길이와 일관성
실전에서는 길어질수록 일관성이 떨어진다. 2026년 기준 대략적인 난이도는 다음과 같다.
- 1–4초: 일관성이 매우 높고 대부분의 모델이 잘 처리한다.
- 5–15초: Runway Gen-4, Veo 3 같은 상위 모델은 양호하지만 약한 표류가 생길 수 있다.
- 15–60초: 최상위 모델로 가능해도 세심한 프롬프트가 필요하고 흔적이 나타나기 쉽다.
- 60초 초과: 여전히 어렵기 때문에 긴 한 테이크보다 짧은 클립을 이어 붙이는 흐름이 일반적이다.
핵심 정리
- 시간 일관성은 모든 시각 속성이 프레임 사이에서 안정적으로 이어지는 상태다.
- 실패는 얼굴 깜빡임, 질감 미끄러짐, 색 맥동, 사물 튀어나옴으로 드러난다.
- 시간 어텐션, 3차원 합성곱, DiT가 프레임 간 의존성을 만든다.
- 클립이 짧을수록 일관성을 유지하기 쉽다.