Local vs cloud vision

Local vision이 이기는 곳

Privacy 중요. 의료 영상, 법적 문서, 감시 영상, 직원 데이터 — 이런 건 애초에 클라우드로 못 보내. Local 말고는 선택지가 없어.
Bulk batch. "제품 사진 5만 장 처리"는 local에선 공짜인데 클라우드에선 돈이 꽤 나가.
Offline. 현장 작업, air-gap 사이트, edge deploy.
Latency 민감 UI. Local vision은 1–2초에 답하는데 클라우드 round-trip은 3–5+초 추가.

Cloud가 아직 이기는 곳

이미지에 대한 가장 어려운 reasoning. "이 다이어그램 읽고 아키텍처 설명" — Claude 3.5 Sonnet이랑 GPT-4V가 아직 앞.
아주 높은 해상도. 4K 넘는 이미지는 클라우드 모델이 훨씬 우아하게 다뤄.
최상급 공간 reasoning. 개수 세기, 가려짐, 상대 위치 — 여긴 아직 클라우드가 나아.

피파 패턴

피파가 local vision (Gemma 3 / Qwen 2.5-VL)을 routine 이미지 작업 (avatar 생성 prompt, screenshot 디버깅, 영수증 OCR)에 쓰고 가장 어려운 케이스엔 Claude vision으로 fallback. Local-first에 cloud-fallback이라는 원칙은 vision에도 텍스트랑 똑같이 적용돼.

Code

Local-first vision router·python

async def describe_image_smart(path: str, complexity: str = "auto") -> str:
    """Local 먼저; 어려운 케이스는 cloud로 escalate."""
    # Step 1: local
    local_answer = await ollama_vision(path,
                                       "Describe this image in detail.")

    # Step 2: confidence 체크 (heuristic — local 답이 너무 짧거나
    # hedge 어구 포함하면 escalate)
    if complexity == "always_cloud" or _is_low_confidence(local_answer):
        return await claude_vision(path,
                                   "Describe this image in detail.")
    return local_answer

def _is_low_confidence(text: str) -> bool:
    return (len(text) < 80
            or any(h in text.lower() for h in [
                "i can't", "unable to", "not sure", "hard to tell",
            ]))

Local vision이 이기는 곳

Cloud가 아직 이기는 곳

피파 패턴

Code

External links

Exercise

Progress

댓글 0