OpenAI 호환성 test

OpenAI 호환성은 spectrum

모든 local engine이 OpenAI-compatible이라고 말해. 실제로도 다 거의 호환돼. 차이는 예측은 되는데 표준화는 안 돼 있어:

Streaming 형식. 다 SSE를 뱉는데 chunk 모양이 조금씩 달라.
Tool calling. Native Ollama는 args를 dict로 풀어서 주고, OpenAI는 JSON 문자열로 뱉고, 어떤 engine은 또 다르게 감싸.
Structured output. Ollama는 JSON Schema를 format 필드에 받고, OpenAI는 response_format, vLLM은 guided_json이야. 같은 아이디어에 다른 키.
Token counting. token usage 필드가 조금씩 다르거나, 아예 없기도 해.

호환성 어떻게 test?

Label을 믿지 마. 네가 실제로 쓰는 기능만 골라서 돌려보는 작은 test suite를 만들어. 아래가 local-AI 호환성 test의 정석이야:

단순 message로 non-streaming chat.
같은 message로 streaming chat.
Multi-turn 대화 (system + user + assistant).
Tool 정의 + multi-turn tool loop.
Structured output (JSON Schema).
응답의 token usage.

어떤 engine이 여섯 개를 다 통과하면 app을 안 고치고 그 engine으로 갈아탈 수 있어. 4번이나 5번이 걸리면 engine별 shim을 하나 써야 한다고 각오해.

Code

호환성 test harness·python

import httpx, json, time

def test_compat(base_url: str, model: str, label: str = ""):
    print(f"\n=== {label or base_url} ===")
    client_kwargs = {"timeout": 120.0}

    # 1. Non-streaming
    r = httpx.post(f"{base_url}/chat/completions", json={
        "model": model,
        "messages": [{"role": "user", "content": "Say 'ok' and nothing else."}],
        "stream": False,
    }, **client_kwargs)
    print(f"1. non-stream: {'PASS' if r.status_code == 200 else 'FAIL'}")

    # 2. Streaming
    with httpx.stream("POST", f"{base_url}/chat/completions", json={
        "model": model,
        "messages": [{"role": "user", "content": "Count: 1 2 3"}],
        "stream": True,
    }, timeout=None) as r2:
        got_chunks = sum(1 for line in r2.iter_lines() if line.startswith("data:"))
    print(f"2. stream:     {'PASS' if got_chunks > 1 else 'FAIL'} ({got_chunks} chunks)")

    # 3. Tool call
    tools = [{"type": "function", "function": {
        "name": "say_ok", "description": "Reply with 'ok'.",
        "parameters": {"type": "object", "properties": {}, "required": []},
    }}]
    r3 = httpx.post(f"{base_url}/chat/completions", json={
        "model": model,
        "messages": [{"role": "user", "content": "Use the say_ok tool."}],
        "tools": tools, "stream": False,
    }, **client_kwargs)
    has_tools = bool(r3.json().get("choices", [{}])[0].get("message", {}).get("tool_calls"))
    print(f"3. tool_call:  {'PASS' if has_tools else 'FAIL'}")

# 여러 engine에 돌려
test_compat("http://localhost:11434/v1", "qwen2.5:7b",   label="Ollama")
test_compat("http://localhost:8080/v1",  "qwen-direct",  label="llama-server")
# test_compat("http://localhost:8000/v1", "Qwen/Qwen2.5-7B-Instruct", label="vLLM")

OpenAI 호환성은 spectrum

호환성 어떻게 test?

Code

External links

Exercise

Progress

댓글 0