MLX의 미래 — JACCL, Neural Accelerator, CUDA 백엔드

2026년 5월에 보이는 MLX의 방향

앞선 레슨들은 지금 쓸 수 있는 MLX를 다뤘어. 마지막 레슨에서는 앞으로 1~2년 동안 지켜볼 만한 세 갈래를 전망해. 무엇이 실제 기능으로 들어올 가능성이 있는지 알면 오늘의 배포 결정을 더 잘 내릴 수 있고, 어디에 학습 시간을 투자할지도 고를 수 있어.

JACCL — Thunderbolt로 연결한 Mac의 분산 추론

JACCL은 지난 1년 동안 나온 MLX 기술 가운데 가장 덜 주목받은 발전일지도 몰라. Thunderbolt로 연결한 여러 Mac이 추론 작업 하나를 함께 처리하게 하는 분산 계산 라이브러리야. TB5 케이블로 묶은 M3 Ultra Mac Studio들은 통합 메모리를 모으고 최첨단급 모델을 여러 기기에 나눠, 연결된 계산 자원에서 커널을 함께 실행할 수 있어.

2026년 5월 기준 JACCL은 macOS 26.3 이상이 필요하고 아직 초기 사용자를 위한 단계야. 통신 규약과 커널 전달층, 예제 앱은 있지만 NVIDIA 환경의 PyTorch 분산 학습을 그대로 바꿔 끼울 수준은 아니야. JACCL과 mlx-lm의 연동이 충분히 다듬어지는 순간, Mac 두 대의 추론도 일상적인 배포 방식이 될 수 있으니 지켜봐.

여러 대의 Mac Studio에 중요한 이유 — M3 Ultra Mac Studio 묶음은 JACCL이 겨냥한 바로 그 하드웨어야. 512GB Studio 네 대를 Thunderbolt로 묶으면 논리적인 기기 하나에 통합 메모리 2TB를 둘 수 있어. 책상 위에서 최첨단급 모델을 서빙할 수 있는 규모지.

M5 Neural Accelerator — 다음 하드웨어 단계

M5 계열 칩에는 MLX가 직접 닿을 수 있는 하드웨어 가속 행렬 곱셈 장치인 Neural Accelerator가 들어가. PyTorch MPS는 이를 공개하지 않고, Core ML은 더 높은 수준의 API를 통해서만 사용해. convert.lesson2에서 본 MLX의 --q-mode mxfp4, nvfp4, mxfp8 형식은 이 새 장치에 바로 대응하도록 설계됐어.

Apple이 발표 때 제시한 첫 토큰까지의 시간 4배 개선은 이 경로를 타는 작업에서 실제로 나타나. 더 많은 추론 흐름이 MX 형식 양자화에 맞춰질수록, M5의 MLX와 다른 Apple Silicon 친화 프레임워크 사이의 차이는 벌어질 거야.

CUDA 백엔드 — 여러 플랫폼을 위한 MLX

MLX는 v0.27부터 Linux용 CUDA 백엔드를 제공해. 2026년 5월 기준 일부 연산이 빠져 있고 성능도 Apple Silicon 고유 경로보다 뒤처지지만, 실제로 존재하며 버전마다 나아지고 있어. 의미는 생각보다 커. 같은 MLX식 코드를 Apple Silicon과 NVIDIA Linux 기기에서 자연스럽게 돌릴 수 있다면 MLX는 ‘Mac 프레임워크’를 넘어 ‘가진 하드웨어에서 돌아가는 프레임워크’가 돼.

금방 완성될 일은 아니야. JAX도 여러 백엔드를 제공한 지 몇 년이 지났지만 백엔드별 지원 차이가 여전히 남아 있어. 그래도 방향은 분명해. MLX API는 여러 백엔드에서 쓸 가치가 있을 만큼 좋고, CUDA 작업은 그 방향으로 내디딘 첫 구체적인 발걸음이야.

세 갈래가 모이는 곳

2026년 5월의 MLX는 머신러닝 연구와 LLM 서빙, 파인튜닝을 위해 Apple Silicon에서 먼저 고르는 프레임워크야. 위 기술이 성숙할 현실적인 시점인 2027년 5월 무렵에는 다음 자리를 노릴 수 있어.

• Mac 한 대부터 JACCL로 연결한 Thunderbolt 기기 묶음까지, 규모와 상관없이 Apple Silicon에 배포할 때 먼저 고르는 프레임워크.
• M5 이상 Neural Accelerator의 성능을 온전히 끌어내는 유일한 소프트웨어 경로.
• Apple Silicon과 NVIDIA 양쪽에서 돌아야 하는 코드의 믿을 만한 여러 플랫폼 선택지로서, 오늘 PyTorch MPS가 맡는 일부 역할을 대체하는 프레임워크.

어느 것도 보장되지는 않아. 하지만 셋 다 미리 설계를 고려해도 막연한 추측이라 부르기 어려울 만큼 모습이 드러났어. ml-explore/mlx와 ml-explore/mlx-lm의 릴리스 안내를 지켜봐. 이 변화들은 거기에 가장 먼저 나타날 거야.