Option과 Structured output

Options block — generation 정밀 컨트롤

모든 generation parameter는 options 객체 아래 살아. 자주 쓰는 거:

temperature — 무작위성 (0 = deterministic, 1.5+ = 카오스). Default 0.8.
top_p — Nucleus sampling cutoff. Default 0.9.
top_k — Top-K sampling. Default 40.
num_ctx — Context window 토큰 수. 모델마다 다른데 보통 4096이고, 실전에선 8192 / 16384 / 32768로 올려 쓰는 편이야.
num_predict — 최대 생성 토큰. -1 = 무제한.
repeat_penalty — 반복 토큰 penalty. Default 1.1.
seed — 정수야. run을 재현하고 싶으면 여기를 고정해.
stop — Stop sequence array.
num_gpu — GPU layer 수. 999 = 전부 GPU.

JSON Schema로 Structured output

format 필드가 JSON Schema 객체 받아. 모델은 그 schema에 맞는 JSON만 뱉도록 강제돼. API에서 가장 유용한 기능 중 하나야 — chat 모델을 prompt engineering 없이 typed data extractor로 바꿔.

Options vs Modelfile 언제?

Request의 options가 Modelfile default override해. 안정적인 default는 Modelfile에 박아. 이 variant는 coder다, ctx는 항상 16K다 같은 것들. temperature, seed, num_predict는 request마다 바꿔 넣고.

Code

Options로 튜닝된 generation·python

import httpx, json

resp = httpx.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "qwen2.5:7b",
        "messages": [{"role": "user", "content": "Write three creative haiku about the sea."}],
        "stream": False,
        "options": {
            "temperature": 0.95,    # creative
            "top_p": 0.95,
            "num_ctx": 8192,
            "num_predict": 300,
            "seed": 42,             # 재현 가능
            "stop": ["---"],
        },
    },
    timeout=120.0,
)
print(resp.json()["message"]["content"])

JSON Schema로 structured output·python

schema = {
    "type": "object",
    "properties": {
        "subject": {"type": "string"},
        "verb": {"type": "string"},
        "adjectives": {"type": "array", "items": {"type": "string"}},
        "word_count": {"type": "integer"},
    },
    "required": ["subject", "verb", "adjectives", "word_count"],
}

resp = httpx.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "qwen2.5:7b",
        "messages": [{
            "role": "user",
            "content": "Analyze: 'The quick brown fox jumps over the lazy dog'",
        }],
        "stream": False,
        "format": schema,
    },
    timeout=120.0,
)
result = json.loads(resp.json()["message"]["content"])
print(result)
# {'subject': 'fox', 'verb': 'jumps', 'adjectives': ['quick', 'brown', 'lazy'], 'word_count': 9}

Options block — generation 정밀 컨트롤

JSON Schema로 Structured output

Options vs Modelfile 언제?

Code

External links

Exercise

Progress

댓글 0