llama.cpp server

왜 llama.cpp server?

llama.cpp는 이 바닥의 밑바탕이 되는 C/C++ inference engine이야. Ollama도 안에서 이걸 써. llama.cpp 트리에서 빌드하는 llama-server가 같은 engine을 standalone HTTP server로 열어줘. OpenAI-compatible chat completion 전체에 llama.cpp 전용 endpoint까지 딸려 오고.

직접 잡을 때

Ollama가 ship 안 하는 특정 GGUF가 있고 Modelfile + repository 만들기 싫을 때.
Flag 레벨 컨트롤 필요 — 정확한 num_ctx, batch size, GPU split, mmap 설정, KV cache type.
Engine을 자체 product에 embed하고 싶고 binary 하나, daemon 없음, 모델 registry 없음 원할 때.
다른 port에 여러 variant 돌리고 싶을 때 — 모델 하나당 server 하나, 공유 state 없음.

빌드, serve, hit

llama.cpp는 CMake 한 번으로 빌드돼. Server binary 이름은 llama-server고. GGUF 파일 아무거나 물려주면 네가 고른 port에서 listen하고, OpenAI-compat endpoint도 기본으로 열려.

Code

빌드, GGUF serve, hit·bash

# llama.cpp 빌드 (Apple Silicon Metal 빌드)
git clone https://github.com/ggml-org/llama.cpp ~/llama.cpp
cd ~/llama.cpp && cmake -B build && cmake --build build --config Release -j

# 직접 serve할 GGUF 다운로드
huggingface-cli download bartowski/Qwen2.5-7B-Instruct-GGUF \
  Qwen2.5-7B-Instruct-Q4_K_M.gguf --local-dir ~/models

# 8K context, 모든 GPU layer로 port 8080에 serve
./build/bin/llama-server \
  -m ~/models/Qwen2.5-7B-Instruct-Q4_K_M.gguf \
  -c 8192 \
  -ngl 999 \
  --port 8080

# OpenAI-compatible client로 hit
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen-direct",
    "messages": [{"role":"user","content":"Hello!"}],
    "stream": false
  }'

OpenAI SDK를 llama-server에·python

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-used",   # llama-server는 무시; SDK가 비어있지 않은 값 요구
)

resp = client.chat.completions.create(
    model="qwen-direct",   # llama-server는 준 이름 그대로; 일부 빌드는 아무거나 받음
    messages=[{"role": "user", "content": "Define GGUF in one sentence."}],
    stream=False,
)
print(resp.choices[0].message.content)

왜 llama.cpp server?

직접 잡을 때

빌드, serve, hit

Code

External links

Exercise

Progress

댓글 0