Ollama 너머 — engine map · Local AI Quest

Ollama 너머 의미 있는 네 engine

Engine	강점	언제 잡아?
llama.cpp server	Raw GGUF를 그대로 돌리고, C/C++이라 어디든 옮겨지고, overhead가 낮아	Embedded, edge, 커스텀 빌드, flag를 전부 쥐고 싶을 때
vLLM	Throughput이 강점, continuous batching이랑 PagedAttention	다중 사용자 serving, 높은 QPS, GPU 여러 장에 sharding
TGI (HF Text Generation Inference)	HuggingFace-native하고 production 모양이야	HF 모델 registry, GPU 여러 장에 sharding, HF telemetry
LM Studio	GUI에 OpenAI-compat server가 내장	탐색, 모델 비교, 데모

공통점

네 engine 다 어딘가에 (보통 /v1/chat/completions) OpenAI-compatible chat completion endpoint를 열어둬. streaming도 다 지원하고. 갈리는 건 운영 쪽이야. throughput 모델, 어떤 하드웨어를 노리냐, 손에 붙는 느낌. 모델 자체, 그러니까 weight는 넷 사이를 그냥 옮겨 다녀.

Ollama 떠나야 해?

대부분 프로젝트는 안 그래도 돼. Ollama가 가장 적은 setup 비용으로 local serving 수요의 90% 정도를 덮거든. llama.cpp server는 Ollama가 안 내주는 특정 GGUF가 필요할 때 꺼내. vLLM은 동시 사용자를 여럿 받아야 할 때, TGI는 팀이 이미 HuggingFace 생태계 안에서 굴러가고 있을 때고.

Code

Engine별 quick smoke test·bash

# Ollama (default)
curl -s http://localhost:11434/api/version

# llama.cpp server (8080에 띄웠다고 가정)
curl -s http://localhost:8080/v1/models | python3 -m json.tool

# vLLM (default port 8000)
curl -s http://localhost:8000/v1/models | python3 -m json.tool

# TGI (default port 8080)
curl -s http://localhost:8080/info | python3 -m json.tool

# 어디든 OpenAI client drop-in
python3 - <<'PY'
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
print(client.models.list())
PY

Ollama 너머 — engine map

Ollama 너머 의미 있는 네 engine

공통점

Ollama 떠나야 해?

Code

External links

Exercise

Progress

댓글 0