이미지 보내기

Ollama 이미지 형식은 OpenAI 형식 아님

이게 Ollama 두 번째로 흔한 footgun (NDJSON-vs-SSE 다음). Ollama는 이미지를 raw base64 문자열로, message에 붙은 images array에 받아. data:image/png;base64, prefix는 붙이지 마. image_url 객체를 담은 content array 모양도 안 통하고.

Ollama: {"role": "user", "content": "describe this", "images": ["iVBORw0KGgoA..."]}
OpenAI: {"role": "user", "content": [{"type": "text", "text": "describe"}, {"type": "image_url", "image_url": {"url": "data:image/png;base64,iVBORw0KGgoA..."}}]}

OpenAI 형식을 그대로 Ollama에 복사해 넣으면 에러가 안 나. 그냥 이미지를 무시하고 텍스트만 가지고 답을 지어내. 조용히 실패하는 거지.

보내기 전에 resize

Local vision 모델은 보통 max input 차원이 정해져 있어 (~896에서 ~1568 px 사이, 모델마다 달라). Encoding 전에 long edge를 ~1024 px로 줄여. 그보다 큰 이미지는 내부에서 downscale돼서 encode를 낭비하거나, context limit에 걸려.

Code

Vision 모델에 single 이미지 보내기·python

import httpx, base64
from pathlib import Path

def encode_image(path: str | Path) -> str:
    """파일 읽어서 base64 문자열 반환 (data URI prefix 없음)."""
    return base64.b64encode(Path(path).read_bytes()).decode("utf-8")

resp = httpx.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "gemma3:12b",
        "messages": [{
            "role": "user",
            "content": "Describe what you see in this image. Be specific about objects and any text.",
            "images": [encode_image("screenshot.png")],
        }],
        "stream": False,
    },
    timeout=300.0,  # vision 모델은 느려
)
print(resp.json()["message"]["content"])

먼저 resize해서 빠르게 유지·python

from PIL import Image
import io, base64

def encode_resized(path: str, max_edge: int = 1024) -> str:
    img = Image.open(path)
    if img.mode != "RGB":
        img = img.convert("RGB")
    img.thumbnail((max_edge, max_edge), Image.LANCZOS)
    buf = io.BytesIO()
    img.save(buf, format="JPEG", quality=88)
    return base64.b64encode(buf.getvalue()).decode("utf-8")

# 1024px JPEG q88이면 품질은 지키면서 보통 폰 사진의 encode + transfer + decode 시간이 4배쯤 줄어

Ollama 이미지 형식은 OpenAI 형식 아님

보내기 전에 resize

Code

External links

Exercise

Progress

댓글 0