피파 한 줄 정리: 입 모양은 약 100ms만 어긋나도 알아차릴 수 있어. 네이티브 동기화, 후처리 동기화, 오디오 우선 생성 중 목적에 맞는 방식을 골라.
머릿속 모형: 입 모양과 더빙이 맞지 않는 외국 영화를 보면 연기가 훌륭해도 계속 신경 쓰인다. 의식하기도 전에 뇌가 “뭔가 틀렸다”고 알린다. 사람은 입술을 읽고 소리를 입 모양에 연결하는 데 매우 민감해서, 얼굴과 음성이 함께 나오는 미디어는 동기화가 무너지면 다른 장점도 소용없다.
100ms가 중요한 이유
연구에 따르면 대부분의 시청자는 100밀리초 정도의 시청각 어긋남도 감지한다. 200ms면 거슬리고 500ms면 명백히 고장 난 느낌이 난다. 조금 잘못된 조명이나 그림자보다 입 모양 오류를 훨씬 덜 용서한다. 별도 도구로 영상과 음성을 만든 생성 미디어에서는 이 정밀도를 후반에 맞춰야 한다.
1. 네이티브 동기화 생성
영상과 음성을 동시에 만들어 동기화를 구조 안에 포함한다. Veo 3가 2025년 생성 대사와 인물의 입 모양을 함께 맞추는 접근을 선보였다. 후처리 정렬이 필요 없고 가장 자연스럽지만, 음성과 영상을 따로 제어하기 어렵고 지원 모델에 한정된다.
2. 생성 뒤 입 모양 맞추기
영상과 음성을 따로 만든 뒤 동기화 도구가 오디오의 음소 시간을 분석해 인물의 입을 맞춘다. 어떤 영상 모델과 음성 모델도 조합하고 기존 콘텐츠에도 적용할 수 있지만, 변형이 지나치면 인공적인 입 주변이 보이고 처리 단계가 하나 늘어난다.
3. 오디오로 비디오 구동하기
음성을 먼저 완성한 뒤 이미지나 영상 참조와 함께 넣어 그 타이밍에 맞는 말하는 얼굴을 만든다. 목소리 품질을 독립적으로 다듬을 수 있고 영상이 오디오 시간에 고정된다. 대신 말하는 머리 장면에 주로 맞고 여러 인물이 말하는 복잡한 장면은 더 어렵다.
1. 네이티브 2. 후처리 동기화 3. 오디오 구동
┌────────────┐ ┌────────────┐ ┌────────────┐
│ 단일 │ │ 영상 생성 │ │ 음성 생성 │
│ 프롬프트 │ │ 따로 │ │ 먼저 │
└─────┬──────┘ └─────┬──────┘ └─────┬──────┘
▼ ┌─────┴──────┐ ▼
┌────────────┐ │ 음성 생성 │ ┌────────────┐
│ 동기화된 │ │ 따로 │ │ 오디오 구동│
│ 영상+음성 │ └─────┬──────┘ │ 영상 생성 │
└────────────┘ ┌─────┴──────┐ └────────────┘
│ 입 모양 도구│
└────────────┘
- 사람은 약 100ms의 시청각 어긋남도 느낄 만큼 동기화에 민감하다.
- 네이티브 생성, 후처리 동기화, 오디오 구동 영상의 세 방식이 있다.
- 네이티브 방식은 자연스럽지만 제어가 적고, 후처리는 유연하지만 단계가 늘어난다.
- 말하는 얼굴 콘텐츠는 목소리를 먼저 완성한 뒤 비디오를 맞추는 방식이 제어하기 쉽다.