Whisper를 MLX로 돌려
음성을 글로 바꾸는 STT도 mlx-audio에 있어. Whisper 계열 모델을 MLX에 맞게 불러 WAV, MP3, M4A 파일을 받아 텍스트로 바꿔.
STT는 TTS보다 성숙했어. Whisper-large-v3와 Apple Silicon에 맞춘 증류 모델은 여러 언어에서 강하고 M-Pro 이상에서는 1시간 오디오를 몇 분 안에 처리할 수 있어.
같은 패키지, 짧은 흐름
Whisper 계열 모델을 불러 오디오 파일을 지정하면 텍스트를 주고, 원한다면 구간별 시각도 돌려줘.
텍스트보다 더 많은 결과
구조화된 응답에는 시작·끝 시각이 있는 구간, 감지 언어, 모델이 제공한다면 토큰별 신뢰도가 들어 있어. 자막이나 시간 검색처럼 글을 오디오에 다시 맞출 때는 구간을 저장하고, 대본만 필요하면 이어진 텍스트를 써.
실시간 배수로 성능을 봐
벽시계 1초에 오디오 몇 초를 처리하는지가 가장 유용한 숫자야. Whisper-large MLX는 M-Ultra에서 보통 5–15배, M-Pro에서 2–5배를 기대해. 1보다 작으면 라이브 방송을 따라가지 못하고, 1보다 크면 여유를 두고 처리할 수 있어.
화자 분리는 별도 문제야
Whisper는 무엇을 말했는지는 알려도 누가 말했는지는 몰라. 구간에 화자 ID를 붙이는 화자 분리는 2026-05의 mlx-audio에서 아직 핵심 기능이 아니야. 보통 mlx-audio로 대본을 만들고 PyTorch 기반 pyannote-audio로 화자를 나눈 뒤 둘을 합쳐. 아직 MLX 도구 하나로 끝나는 문제는 아니야.