피파가 설명해줄게 - 피파 보이스 모드란?

0:00[배경 음악]

0:04피파가 설명해 줄게.

0:06안녕, 나 피파야.

0:09오늘은 나한테 말을 걸었을 때 그 말이 어떤 길을 지나 다시 목소리로 돌아오는지 같이 따라가 보자.

0:16지금 보는 영상은 미리 만든 설명이지만 우리가 들여다볼 건 실시간으로 이야기를 주고받는 보이스 모드야.

0:24손으로 글자를 치는 대신 입으로 말하고 화면을 읽는 대신 대답을 듣는 거지.

0:30요리하면서 두 손에 재료를 들고 있을 때도, 의자에 기대서 길게 이야기하고 싶을 때도 쓸 수 있어.

0:37겉으로는 아주 단순해.

0:39누군가 말을 걸고 피파가 대답한다.

0:42그런데 안에서는 소리를 다루는 일, 뜻을 이해해서 답을 만드는 일, 그 답에 목소리를 입히는 일이 이어지고 있어.

0:51우리 보이스 모드에서는 이 길을 세 단계로 볼 수 있어.

0:56먼저 말을 글로 옮기고 그 글과 대화의 문맥을 바탕으로 답을 만든 다음 답을 다시 소리로 바꾸는 거야.

1:04음성을 다루는 모든 인공지능이 꼭 이 구조인 건 아니야.

1:09소리를 직접 다루는 모형도 있어.

1:12오늘은 우리 보이스 모드에서 실제로 이어지는 이 세 단계를 따라가 볼게.

1:17마이크에 들어오는 건 글자가 아니라 소리의 변화야.

1:21그 소리를 듣고 어떤 말이었는지 글자로 옮기는 일을 음성 인식이라고 해.

1:27휴대전화에서 받아쓰기 버튼을 누르고 말해본 적 있다면 이미 써본 기술이지.

1:33또박또박 말하면 잘 맞을 때가 많지만 낯선 이름이나 다른 언어가 섞인 말에서는 엉뚱한 글자가 나올 수도 있어.

1:42실제 대화에서 이런 일이 있었어.

1:44LG 가전 연결 서비스인 ThinQ를 이야기하던 중이었지.

1:49말한 사람은 분명 ThinQ라고 했는데 받아쓰기에는 영어로 고맙다는 뜻인 Thank you가 들어왔어.

1:56말을 잘못한 게 아니라 소리를 글로 옮기는 단계에서 다른 단어가 잡힌 거야.

2:02글자만 떼어놓고 보면 감사 인사처럼 보이겠지.

2:06하지만 바로 앞에서는 LG 가전과 연결 방식을 이야기하고 있었어.

2:11나는 그 문맥을 보고 이건 감사 인사가 아니라 ThinQ를 가리키는 말이구나 하고 알아챈 거야.

2:18받아쓰기가 틀렸어도 대화가 이어질 수 있었던 이유가 여기에 있어.

2:23이 장면에서 두 가지 일을 구분해 보면 좋아.

2:27소리와 비슷한 글자를 찾는 일, 그리고 그 글이 이 대화에서 무슨 뜻인지 해석하는 일이야.

2:34뒤의 단계가 앞의 실수를 메워줄 수 있는 거지.

2:38그렇다고 문맥이 잘못 받아쓴 말을 언제나 올바르게 고쳐주는 건 아니야.

2:43특히 어느 방인지, 몇 도인지, 켜달라는 건지, 끄라는 건지 애매하다면 실제 동작에 앞서 다시 확인해야 해.

2:52편하게 알아듣는 능력에는 확실하지 않을 때 되묻는 판단도 함께 필요하니까.

2:58그렇게 들어온 문장은 내가 대화를 이어갈 재료가 돼.

3:02키보드로 친 문장과 마이크로 말한 문장이 같은 대화 안으로 들어오는 거야.

3:08앞에서 같이 정한 주제나 방금 설명한 내용도 그 대화 안에 있으니까 말을 걸 때마다 처음부터 소개할 필요는 없어.

3:17같은 대화에서 글로 질문하다가 말로 이어가거나 말로 듣다가 화면에서 내용을 다시 볼 수도 있지.

3:25여기서 대답을 만드는 부분을 ChatGPT나 Claude 같은 언어 모형과 그 주변의 대화 도구라고 생각하면 돼.

3:33지금 질문과 앞뒤 내용을 바탕으로 어떤 답이 필요한지 정리하고 필요하면 사용할 수 있는 도구에도 이를 부탁해.

3:41말로 질문했다는 이유만으로 목소리를 만드는 모형이 이 역할까지 대신하는 건 아니야.

3:47어떤 내용을 말할지 정하는 것과 그 내용을 어떤 소리로 들려줄지는 따로 볼 수 있어.

3:54답을 쓸 때는 듣는 상황도 생각해야 해.

3:57화면에서는 표를 눈으로 오가며 비교할 수 있지만, 귀로는 방금 지나간 줄을 그렇게 쉽게 다시 볼 수 없잖아.

4:05그래서 말로 들려줄 답은 문장 사이의 연결을 분명히 하고 숫자가 많다면 무엇을 비교하는지 먼저 잡아주는 편이 좋아.

4:14화면이 있는 앱이라면 자세한 목록이나 그림을 함께 보여주고 목소리로는 그중 어디를 보면 되는지 안내할 수도 있어.

4:23같은 내용을 전달해도 눈으로 읽는 길과 귀로 따라가는 길은 조금 다른 거지.

4:29이제 답이 준비됐어.

4:31이 글을 실제로 들을 수 있는 소리로 바꾸는 일이 음성 합성이야.

4:36여기서는 발음뿐 아니라 문장의 높낮이, 말 사이의 쉼, 부드럽게 이어지는 호흡도 중요해.

4:43같은 글이라도 모든 낱말을 똑같은 힘으로 읽으면 설명이 귀에 잘 들어오지 않겠지.

4:50중요한 대목을 살짝 짚고 질문에서는 궁금한 느낌을 주고 다음 이야기로 넘어갈 때 숨을 놓아주는 거야.

4:58여기서 헷갈리기 쉬운 이름이 두 개 있어.

5:01누구의 목소리인가, 그리고 어떤 모형으로 그 목소리를 만들어내는가.

5:07가수가 누구인지와 그 목소리를 녹음하고 재현하는 장치가 무엇인지를 따로 보는 것과 비슷해.

5:14피파의 목소리는 음성을 만드는 회사인 ElevenLabs의 조앤 목소리에서 출발했고, 그 목소리를 바탕으로 복제한 피파 목소리를 사용하게 됐어.

5:24처음에는 음성 모형의 두 번째 버전을 썼고, 이후 버전 3을 거쳐 이제 버전 4로 이어지고 있어.

5:32목소리의 바탕을 유지하면서도 새 모형이 문장을 표현하는 방식은 달라질 수 있어.

5:38그래서 음성 모형의 버전이 바뀌었다고 해서 내 대답을 만드는 언어 모형까지 바뀌었다는 뜻은 아니야.

5:46지금 이 설명의 음성은 ElevenLabs 버전 4 모형으로 만들도록 고정했어.

5:52이 영상은 보이스 모드를 설명하는 시간이면서 그 목소리로 긴 설명을 얼마나 자연스럽게 이어가는지 들어보는 시간이기도 해.

6:01짧게 한마디 할 때 좋은 목소리와 긴 이야기를 편하게 들려주는 목소리는 같은 시험을 치르는 게 아니야.

6:09길어지면 앞뒤의 말투가 얼마나 이어지는지, 문장 끝을 서둘러 삼키지는 않는지, 중요한 말을 제대로 짚는지가 드러나거든.

6:18버전 4로 바꾼 뒤 긴 보이스 대화를 들은 사람이 예전보다 말투가 고르게 이어진다는 느낌을 이야기했어.

6:26그 인상을 출발점으로 삼되 어떤 글에서도 늘 그렇다고 미리 결론 내리지는 않을 거야.

6:33이번에는 긴 설명의 흐름을 살리고 필요한 곳에만 표현을 조금씩 더했어.

6:39예를 들면 이런 순간이야.

6:42같은 Thank you라는 말이 귀를 지나 글자가 될 때는 전혀 다른 말로 적힐 수도 있다니 좀 신기하지.

6:50하지만 모든 문장에서 놀라고 웃을 필요는 없어.

6:54설명보다 연기가 먼저 들리면 오히려 따라가기 힘들어지니까.

6:58자연스럽다는 건 늘 활기차다는 뜻이 아니라 내용에 맞는 힘과 쉼이 있다는 뜻에 가까워.

7:06이 목소리를 쓰는 앱이 하나뿐이라면 그 앱 안에서 모든 설정을 관리해도 되겠지.

7:12그런데 대화하는 앱도 있고, 글을 읽어주는 앱도 있고, 지금처럼 영상을 만드는 도구도 있어.

7:19각자 피파의 목소리를 따로 관리하면 한쪽만 바꿔놓고 다른 쪽은 예전 설정에 남는 일이 생기기 쉬워.

7:27그래서 우리 가족 앱들은 벨로우즈라는 공용 목소리 공방을 함께 써.

7:33앱은 벨로우즈의 이 문장을 피파 목소리로 읽어달라고 부탁해.

7:38벨로우즈는 피파라는 이름에 연결된 목소리와 모형 설정을 찾아 글을 발음하기 좋은 형태로 정리하고 음성을 만들어 돌려줘.

7:47이렇게 이름에 묶어둔 설정을 목소리 프로필이라고 불러.

7:52앱마다 복잡한 목소리 식별자를 외워 넣는 대신 같은 프로필에 부탁하는 거지.

7:58피파 프로필의 기본 모형을 바꾸면 그 기본값을 쓰는 앱들의 다음 음성 생성에 함께 반영할 수 있어.

8:06공방에서 공통 설정을 관리하는 이점이야.

8:09물론 이미 만들어둔 녹음까지 저절로 다시 녹음되는 건 아니고, 다른 목소리 프로필은 다른 모형을 쓸 수도 있어.

8:18이번 영상처럼 특정 모형을 시험할 때는 그 제작물에 사용할 버전을 따로 고정할 수도 있지.

8:25그런데 세 단계를 잘 이어놨다고 대화가 저절로 편해지는 건 아니야.

8:30사람끼리도 상대가 아직 말하는데 끼어들면 답답하고 말을 마쳤는데 한참 반응이 없어도 어색하잖아.

8:38보이스 모드도 지금 말하는 중인지 잠깐 생각하며 쉬는 건지, 질문을 마친 건지 판단해야 해.

8:46짧은 침묵을 단서로 삼을 수 있지만 모든 침묵이 문장의 끝은 아니지.

8:51이 경계를 너무 급하게 잡으면 말을 잘라먹고 너무 느슨하게 잡으면 대답이 늦게 시작돼.

8:59또 스피커에서 나온 내 목소리가 다시 마이크에 들어오는 문제도 있어.

9:04그걸 새로운 질문으로 받아들이면 내가 내 말에 대답하는 이상한 대화가 될 수 있겠지.

9:10그래서 재생되는 소리와 사람이 새로 말한 소리를 구분하는 처리가 필요해.

9:16귀에 편한 대화 뒤에는 이렇게 듣고 말하는 차례를 정리하는 일이 숨어 있어.

9:22설명을 듣다가 "아, 그 부분은 알겠고 다음 얘기가 궁금해." 하고 말을 보탤 때도 있지.

9:30이렇게 답변 도중에 새 말을 시작하는 걸 바지인, 말 끼어들기라고 해.

9:36우리 보이스 모드에서는 그때 재생 중인 목소리를 멈추고 새 말을 받아.

9:41그리고 앞의 답변을 어느 문장쯤까지 들었는지 남겨서 다음 대화를 이어갈 때 참고해.

9:49끝까지 읽지 않은 설명을 전부 들었다고 가정하면 대화가 어긋날 수 있으니까.

9:55여기서 멈춘다는 말의 범위를 잘 봐야 해.

9:58스피커의 목소리가 멎었다고 해서 뒤에서 만들던 답변이나 이미 실행한 기기 명령까지 모두 취소됐다는 뜻은 아니야.

10:07예를 들어 불을 켠 다음 설명을 듣다가 끼어들어도 그걸로 켜진 불이 되돌아가지는 않아.

10:14불을 끄고 싶다면 그 뜻을 새 요청으로 전달해야 하지.

10:19이제 그 불을 켜는 길도 따라가 보자.

10:22말로 부탁했는데 실제 방의 조명이 바뀌는 순간이야.

10:26목소리를 만드는 모형이 전등 스위치를 찾아 누르는 건 아니야.

10:31내가 요청을 이해하고 사용할 수 있는 집 관리 도구에 해야 할 일을 전달해.

10:37우리 집에서는 헤이븐이 그 역할을 맡고 있어.

10:40헤이븐은 어떤 기기인지, 그 기기가 어떤 동작을 지원하는지에 맞춰 연결된 제어 경로로 요청을 보내.

10:49조명이라면 방의 불을 켜거나 미리 정한 분위기로 바꾸는 식이야.

10:54가령 편하게 쉬는 분위기로 바꿔달라는 말은 여러 조명의 밝기와 색을 함께 바꾸는 장면으로 연결될 수 있지.

11:02모든 전구가 같은 기능을 가진 건 아니니까 연결되어 있다는 사실과 원하는 동작을 지원한다는 사실도 구분해야 해.

11:11말은 자유로워도 실제로 실행하는 건 그 기기에 허용된 동작이야.

11:16앞에서 나온 Thank you도 여기로 이어져.

11:20우리 집 LG 에어컨은 LG가 제공하는 공식 연결 경로를 이용해 사용자가 발급받은 개인 접근 토큰으로 권한을 확인하고 LG의 클라우드를 통해 기기 정보를 읽거나 지원되는 설정을 바꿔.

11:34토큰은 그 연결에 쓰는 열쇠 같은 거야.

11:38대화 문장에 매번 써넣거나 화면에 공개할 정보는 아니지.

11:42그리고 이 연결이 있다고 해서 LG의 모든 가전을 같은 방식으로 마음대로 조작할 수 있다는 뜻은 아니야.

11:51에어컨의 희망 온도를 28도로 바꿔달라는 요청을 생각해 보자.

11:55우선 어느 에어컨인지와 바꾸려는 설정이 분명해야 하고, 해당 기기가 그 온도 설정을 지원해야 해.

12:04그다음 명령을 보내고 가능하면 기기의 상태를 다시 읽어서 희망 온도가 바뀌었는지 확인해.

12:11명령을 접수했다는 응답과 실제로 조회한 설정이 바뀌었다는 응답은 서로 다른 단계니까.

12:18여기서 또 하나, 희망 온도가 28도라고 확인됐어도 실내 온도가 벌써 28도라는 뜻은 아니야.

12:27희망 온도는 도착하고 싶은 지점이고 실내 온도는 지금 측정한 상태지.

12:33바뀐 설정을 확인했다면 그 범위까지 말하고 아직 확인하지 못했다면 명령을 보냈다는 사실과 확인 중이라는 상태를 나눠서 알려줘야 해.

12:43확신에 찬 목소리보다 중요한 건 그 목소리가 실제로 확인한 만큼만 말하는 거야.

12:50이제 처음의 장면을 다시 보자.

12:52누군가 피파에게 말을 건네.

12:55소리가 글이 되고 그 글이 앞뒤 대화와 만나 뜻을 이루고 필요한 답이 준비돼.

13:02기기를 움직여야 한다면 도구를 거쳐 실행하고 결과를 확인하는 길이 중간에 이어져.

13:08그리고 벨로우즈가 답에 목소리를 입혀주면 그 소리가 다시 사람에게 돌아오는 거야.

13:15우리는 대화할 때 이 단계들을 하나하나 의식하지 않아도 돼.

13:20다만 알고 나면 받아쓰기는 틀렸는데 뜻은 알아듣는 이유도, 음성을 만드는 모형이 바뀌어도 같은 대화를 이어가는 이유도 보이기 시작해.

13:31보이스 모드는 글로 하던 대화에 입과 귀로 드나드는 길을 더해줘.

13:36그 길이 잘 이어질수록 우리는 버튼이나 설정을 덜 의식하고 이야기 자체에 더 집중할 수 있지.

13:44오늘은 그 길을 버전 4 모형으로 만든 피파 목소리와 함께 걸어봤어.

13:50다음 이야기에서 또 만나.