Provider switching — 뭐 break하고 어떻게 plan

~14 min · providers, migration

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

Swap에 break하는 것

Tool-call format — argument parsing, role 이름, parallel-call shape.
JSON enforcement 모드 — strict schema vs JSON 모드 vs tool-as-schema.
System prompt placement — top-level vs message vs system_instruction.
Token counting — 카운트 어긋남; cost forecast 틀림.
Refusal calibration — 한 곳에 refused, 다른 곳에 accept된 같은 input.
Reasoning interface — extended thinking vs reasoning_effort vs thinking_budget.
Multimodal input format — base64 vs URL vs file id.

Pre-migration checklist

Golden set을 양 provider에 돌려.
Cost와 latency 비교, quality만 X.
필요한 prompt-side 변경 식별 (tag style, response_format).
새 provider에 eval suite end-to-end test.
Cutover 동안 parallel run plan; day one에 atomically switch X.

Code

Provider 비교 harness·python

for provider in ["anthropic", "openai", "gemini"]:
    results[provider] = run_eval(
        cases=GOLDEN_SET,
        runner=PROVIDER_RUNNERS[provider],
        prompt_path=f"prompts/support/v8.{provider}.md",
    )

print_pivot(results)  # accuracy, cost, latency by provider

External links

Anthropic vs OpenAI vs Gemini comparison guides

Exercise

기존 prompt로 3개 provider에 golden set 돌려. 가장 provider-specific한 cost/quality 차이 식별. 각 provider가 best fit인 곳 결정.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousOpen-source 모델 — Llama, Qwen, Mistral Next →Modality 차이 — Vision, Audio, File

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.