Ollama 너머 의미 있는 네 engine
| Engine | 강점 | 언제 잡아? |
|---|---|---|
| llama.cpp server | Raw GGUF를 그대로 돌리고, C/C++이라 어디든 옮겨지고, overhead가 낮아 | Embedded, edge, 커스텀 빌드, flag를 전부 쥐고 싶을 때 |
| vLLM | Throughput이 강점, continuous batching이랑 PagedAttention | 다중 사용자 serving, 높은 QPS, GPU 여러 장에 sharding |
| TGI (HF Text Generation Inference) | HuggingFace-native지만 2025년 12월부터 maintenance 모드야. HF가 직접 vLLM이랑 SGLang을 가리켜 | 이미 돌고 있는 TGI 배포. 새로 시작하는 건 vLLM이나 SGLang으로 |
| LM Studio | GUI에 OpenAI-compat server가 내장 | 탐색, 모델 비교, 데모 |
공통점
네 engine 다 어딘가에 (보통 /v1/chat/completions) OpenAI-compatible chat completion endpoint를 열어둬. streaming도 다 지원하고. 갈리는 건 운영 쪽이야. throughput 모델, 어떤 하드웨어를 노리냐, 손에 붙는 느낌. 모델은 옮겨 다니는데 파일은 대개 안 그래. Ollama랑 llama.cpp는 GGUF를 원하고, vLLM이랑 TGI는 HuggingFace safetensors를 원하고, MLX는 또 자기 걸 원해. 많이 쓰는 weight는 모든 포맷으로 다 올라와 있으니까 복사가 아니라 다시 받는 거야. engine 갈아탈 땐 파일 이동이 아니라 변환이나 다운로드를 예산에 넣어.
Ollama 떠나야 해?
대부분 프로젝트는 안 그래도 돼. Ollama가 가장 적은 setup 비용으로 local serving 수요의 90% 정도를 덮거든. llama.cpp server는 Ollama가 안 내주는 특정 GGUF가 필요할 때 꺼내. vLLM은 동시 사용자를 여럿 받아야 할 때. 팀이 이미 HuggingFace 생태계 안에서 굴러가고 있으면 TGI가 아니라 vLLM이나 SGLang이야. HuggingFace 자신이 지금 그쪽을 권하니까.