이 강의가 답해야 하는 규칙
앞 강의는 세게 주장했어. 두 번째 언어는 번역하는 게 아니라 쓰는 거고, 그림에서 출발해 자기 리듬으로 다시 지어야 하고, 구절마다 짝이 맞으면 그건 번역했다는 증거라고. 2026-10-04 에 작업장은 그 규칙을 적힌 그대로는 지킬 수 없는 일을 만났어. 눈여겨볼 건 그 규칙이 어떻게 휘었느냐야.
채널 주인이 이미 공개한 대화 영상을 영어, 중국어, 일본어로 다시 만들어 피파 채널에 올려달라고 했어. 외국 시청자를 플랫폼 자동 더빙과 자동 자막한테 맡기지 말자는 거였지. 그쪽은 대화에 대해 아무것도 모른 채 번역하니까. 주인이 짠 설계는 네 조각이야. 피파가 대화 전체를 알고서 번역하고, 원본을 한 번도 본 적 없는 피파가 결과를 그 나라 말처럼 읽히게 다듬고, 목소리는 언어마다 새로 입히고, 판마다 주인이 공개할 때까지 피파 채널에 비공개로 올려.
출처 둘, 둘 다 필요해
이 파이프라인의 포인터는 새로운 종류야. 공개된 영상의 주소. 그 영상을 잘라 만든 대화들은 소스로 따라붙어. 둘 다 필요한 이유는 분명해. 공개된 영상은 시청자가 실제로 본 거고, 주인이 자기 편집기에서 잘라낸 것까지 다 반영돼 있어. 대화는 그 편집의 출발점이 된 원래 기록이고, 번역자한테 필요한 맥락이 거기 있어. 대화만으로 번역하면 주인이 뺀 걸 되살리게 되고, 영상만으로 번역하면 맥락 없이 번역하게 돼.
그래서 첫 단계는 한쪽을 다른 쪽 안에서 찾아내. 가족 전사 엔진엔 공개된 영상의 시간 찍힌 전사가 이미 있어. 파이프라인은 그걸 후보 대화들과 견줘서, 영상에 분명히 들어 있는 대화 쪽만 남겨. 한 단어짜리 대답은 이웃 차례의 판정을 따라가. 영상에 일부만 들어 있는 쪽과 어느 차례로도 설명이 안 되는 영상 구간은 목록으로 뽑아서 제작자가 주인과 같이 판단하게 해. 첫 영상에선 그 영상이 이어 붙인 대화 둘을 다 찾았고, 방송 차례는 남기고 방송 뒤 잡담은 뺐고, 차례 하나가 꼬여서 주인이 잘라낸 구간 하나까지 찾아냈어.
첫 방법은 퇴짜를 맞았어
첫 영어판은 대화에서 영화를 다시 만들었어. 번역한 대본, 새 그림, 새 자막, 두 목소리 다 합성. 주인은 보자마자 퇴짜를 놨어. 기계가 만든 티가 난다고. 이유도 짚었지. 자기 마스터엔 손으로 넣은 효과가 실려 있고, 그걸 실어 나를 수 있는 건 마스터뿐이라고. 다시 만든 영화는 대본만 같은 다른 영화야.
그래서 방법이 더빙으로 바뀌었어. 주인의 마스터는 그대로 써. 바뀌는 건 목소리뿐이고, 문장 하나씩 바꿔. 새 언어로 다시 그리는 건 피파 자신의 방송 카드뿐이야. 카드는 남색 상자와, 그 자리의 픽셀이 바뀌는 순간으로 찾아내. 화면에서 글자를 뒤지는 방식은 절대 안 써. 원래 파이프라인의 다시 만들기 경로는 코드에 아직 남아 있어. 이제 그게 방법이 아닐 뿐이지.
고정된 그림 밑에서 번역하기
여기서 앞 강의의 규칙이 자기 경계를 만나. 그림에서 출발해 다시 쓴다는 건 저자가 그림의 타이밍을 쥐고 있다는 전제야. 여기선 그림이 고정돼 있고, 문장마다 자리가 정해져 있어. 다음 한국어 문장이 시작할 때까지의 시간이지. 그래서 더빙은 영상마다 한 번 마스터를 목소리와 배경으로 가르고, 음높이로 주인 목소리와 피파 목소리를 구분하고, 전사의 시간 찍힌 문장마다 그 문장이 속한 차례를 붙여. 제작자의 시트엔 시간 찍힌 문장마다 그 문장이 속한 대화 쪽과 말한 사람, 자리, 한국어, 그리고 읽힐 대사가 적혀. 음높이는 갈라낸 목소리에서 잴 수 있는 문장마다 읽어서 따로 한 칸에 남기는데, 이게 짝 맞추기 자체를 이끌어. 문장을 다른 화자 쪽에 붙이면 짝 맞추기 점수에서 정해진 만큼 깎여. 피파의 짧은 첫마디가 주인 차례로 끌려가지 않는 것도 이 덕분이야. 벽이 아니라 감점이라서, 다른 근거가 충분히 세면 넘어갈 수도 있어. 대사는 앞뒤 대사를 맥락으로 붙여서 음성 엔진으로 읽혀. 그다음 한국어 문장이 시작한 자리에 놓여. 앞 대사가 길어져서 넘어왔으면 그 바로 뒤에 놓이고. 많아야 15 퍼센트까지만 빨라진 채로 원래 배경 위에 섞여. 웃음소리는 원래 목소리에서 그대로 가져오고. 그래도 자리에 안 들어가는 대사는 억지로 구겨 넣지 않고 넘침 목록에 올라가. 넘친 대사는 뒤에 오는 대사를 전부 늦게 밀어내니까, 많이 넘친 순서로 뽑은 그 목록이 곧 줄여야 할 대사 목록이야. 그리고 주인의 느슨한 말투는 일부러 살려. 완벽할 필요는 없고, 자연스럽기만 하면 돼.
번역투를 막는 장치는 사라지지 않고 옮겨 갔어. 규칙의 목적은 두 번째 관객이 첫 번째 관객이 받은 걸 그대로 받고, 그 말에서 옮겨 온 티가 안 나게 하는 거야. 그 목적을 이제는 쓰는 방법이 아니라 읽는 사람이 지켜. 별개의 두뇌가 원문을 가린 채 완성된 번역만 읽고, 등급 매긴 지적을 남겨. 받는 건 줄마다 말한 사람과 시간 예산이 붙은 대사, 제목과 소개글, 번역된 화면 글자 전부야. 한국어는 끝까지 안 받아. 저자는 하나하나 이유를 적어 받아들이거나 물리치고. 한국어를 한 번도 못 본 리뷰어는 원문의 익숙한 모양에 넘어가지 않아. 그래서 구절마다 짝 맞춘 뻣뻣함을 정확히 잡아내.
언어마다 따로 배달해
판마다 원래 비트레이트쯤으로 마스터 위에 렌더하고, 다시 그린 카드와 피파가 혼자 만들었다는 7 초짜리 표시를 얹어서, 피파 채널에 비공개로 딱 한 번 올려. 그다음 마무리 단계 하나가 모든 언어를 제작물의 기록 하나로 묶어. 렌더마다 해시, 측정한 길이와 스트림과 음량, 카드 점검과 배치 목록까지. 글꼴은 언어마다 골라. 일본어 한자는 일본어 서체로, 중국어는 중국어 서체로. 카드를 그리는 쪽이 글자에 언어 표시를 안 넘기거든. 표시가 없으면 서체는 나눠 쓰는 한자를 자기가 만들어진 언어의 모양으로 조용히 그려. 두 언어의 모양을 다 가진 서체에 언어 표시를 붙인 글자를 넘겨도 되긴 해. 이 렌더러는 서체 둘을 고른 거고. 일본어 범위 표시 하나는 서체에 없어서, 그 글자를 가진 서체로 따로 돌려야 했어.