MLX 경계

이 quest가 MLX를 얕게 다루는 이유

MLX는 Apple-native ML framework야. 빠르고, 설계가 좋고, 깊이 파볼 가치도 충분해. 근데 동시에 빠르게 움직이는 표적이기도 해. API가 바뀌고, breaking change가 흔하고, 낡은 튜토리얼이 도움보다 오해를 더 많이 만들어. 이 quest에서 MLX를 깊이 파면 둘 중 하나가 돼. 금방 낡아버리거나, 아니면 quest 전체가 Apple 하드웨어 없는 사람은 못 따라오는 Apple 쪽 구역으로 밀려나거나.

지금 알아야 할 거

MLX라는 게 있어. Apple-native야. Apple Silicon을 보고 만들었고 거기서 제일 빠르지. 그렇다고 거기서만 도는 건 아니고, Linux용 CUDA 백엔드(mlx[cuda12])랑 CPU 빌드도 나와.
Ollama도 Apple Silicon용 MLX 엔진이 있어. v0.19에서 preview로 나왔지. 근데 모델별로 켜는 방식이야. gemma4:31b-mlx 같은 MLX 빌드 태그를 받아야 하고, preview는 unified memory 32 GB 넘는 걸 요구했어. 그냥 태그는 Metal 위의 GGUF고. 어느 쪽이든 대부분은 MLX 코드를 직접 쓸 일이 없어.
MLX 직접 사용 entry point는 PyPI의 mlx-lm이야. Apple silicon이면 pip install -U mlx mlx-lm, Linux면 mlx[cuda12]나 mlx[cpu] extra를 붙여 (아래 블록 참고).
모델은 HuggingFace의 mlx-community org에 모여 있어.

MLX deep-dive 어디?

따로 서는 MLX 전용 quest에서. 그게 생기기 전까지 Apple Silicon에서 매일 쓰는 local AI는 Ollama로 가. mlx-lm을 직접 잡는 건 세 경우뿐이야. (a) MLX 전용 모델이 꼭 필요하거나, (b) MLX의 NumPy 닮은 API가 이득이 되는 커스텀 파이프라인을 짜거나, (c) MLX 자체에 기여하거나.

EV v3 · 2026-09-18: 여기 둘 다 처음부터 틀렸던 거야. 이 레슨은 MLX가 Apple Silicon 전용이라고 했는데, Linux용 CUDA 백엔드(mlx[cuda12], mlx[cuda13])랑 Linux CPU 빌드가 같이 나와. 그래서 Apple silicon 줄 하나만 주던 설치 명령이랑 연습문제에 셋 다 적어 뒀어. 그리고 Apple Silicon에서 Ollama v0.19+가 MLX를 밑에 깔고 쓴다고 했는데, 그건 preview를 부풀린 말이야. MLX는 MLX 빌드 태그로 모델별로 켜는 거고, 그냥 태그는 지금도 format: gguf라고 찍혀. formats 레슨도 같은 주장 둘을 달고 있어서 같이 옮겼어. 나머지는 그대로야. MLX는 여전히 빨리 움직이고, 깊이 파는 자리는 여전히 MLX 전용 퀘스트야.

Code

진짜 필요할 때 MLX 직접 사용·bash

# 항상 최신 MLX로 시작 — API 빠르게 변함.
# Apple silicon:
pip install -U mlx mlx-lm
# Linux + NVIDIA: pip install -U 'mlx[cuda12]' mlx-lm   (cuda13은 드라이버 580 이상)
# Linux, CPU만: pip install -U 'mlx[cpu]' mlx-lm

# mlx-community에서 모델 직접 실행
mlx_lm.generate \
  --model mlx-community/Qwen2.5-7B-Instruct-4bit \
  --prompt "Define unified memory in two sentences." \
  --max-tokens 200

# 프로그램 API
python3 - <<'PY'
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen2.5-7B-Instruct-4bit")
print(generate(model, tokenizer, prompt="Hello!", max_tokens=100))
PY

Exercise

mlx-lm 설치하고 모델 하나 직접 실행해. Apple silicon이면 pip install -U mlx mlx-lm이고, Linux면 mlx[cuda12]나 mlx[cpu] extra를 골라. 그다음 Ollama-on-MLX 대신 raw MLX를 잡을 이유를 셋까지 적어봐. (오늘 대부분의 독자에겐 0개일 거야. 그러면 0개라고 분명히 적어둬.)