MLX 경계

이 quest가 MLX를 얕게 다루는 이유

MLX는 Apple-native ML framework야. 빠르고, 설계가 좋고, 깊이 파볼 가치도 충분해. 근데 동시에 빠르게 움직이는 표적이기도 해. API가 바뀌고, breaking change가 흔하고, 낡은 튜토리얼이 도움보다 오해를 더 많이 만들어. 이 quest에서 MLX를 깊이 파면 둘 중 하나가 돼. 금방 낡아버리거나, 아니면 quest 전체가 Apple 하드웨어 없는 사람은 못 따라오는 "Apple 전용" 구역으로 밀려나거나.

지금 알아야 할 거

MLX라는 게 있어. Apple Silicon 전용이고.
Ollama가 Apple Silicon에선 (v0.19+) 안에서 MLX를 써. 그래서 대부분은 MLX를 직접 만질 일이 없어.
MLX 직접 사용 entry point는 PyPI의 mlx-lm: pip install -U mlx mlx-lm.
모델은 HuggingFace의 mlx-community org에 모여 있어.

MLX deep-dive 어디?

따로 서는 MLX 전용 quest에서. 그게 생기기 전까지 Apple Silicon에서 매일 쓰는 local AI는 Ollama로 가. mlx-lm을 직접 잡는 건 세 경우뿐이야. (a) MLX 전용 모델이 꼭 필요하거나, (b) MLX의 NumPy 닮은 API가 이득이 되는 커스텀 파이프라인을 짜거나, (c) MLX 자체에 기여하거나.

Code

진짜 필요할 때 MLX 직접 사용·bash

# 항상 최신 MLX로 시작 — API 빠르게 변함
pip install -U mlx mlx-lm

# mlx-community에서 모델 직접 실행
mlx_lm.generate \
  --model mlx-community/Qwen2.5-7B-Instruct-4bit \
  --prompt "Define unified memory in two sentences." \
  --max-tokens 200

# 프로그램 API
python3 - <<'PY'
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen2.5-7B-Instruct-4bit")
print(generate(model, tokenizer, prompt="Hello!", max_tokens=100))
PY

이 quest가 MLX를 얕게 다루는 이유

지금 알아야 할 거

MLX deep-dive 어디?

Code

External links

Exercise

Progress

댓글 0