제공업체 전환 — 무엇이 깨지고 어떻게 준비할까

~14 min · providers, migration

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

바꿀 때 깨지는 일곱 곳

도구 호출 형식 — 인수 파싱, 역할 이름, 병렬 호출 모양.
JSON 강제 방식 — 엄격한 스키마, JSON 모드, 도구를 스키마로 쓰는 방식.
시스템 프롬프트 위치 — 최상위 값, 메시지, system_instruction.
토큰 계산 — 세는 값이 달라 비용 예측이 틀어져.
거절 기준 — 같은 입력을 한곳은 거절하고 다른 곳은 받아.
추론 인터페이스 — extended thinking, reasoning_effort, thinking_budget.
여러 매체 입력 — base64, URL, 파일 ID 방식이 달라.

옮기기 전 점검표

골든 세트를 두 제공업체에 모두 실행해.
품질뿐 아니라 비용과 지연 시간도 비교해.
태그 방식과 response_format처럼 프롬프트 쪽 변경을 찾아.
새 제공업체에서 평가 모음을 처음부터 끝까지 돌려.
전환 기간에는 병렬 실행을 계획하고 첫날 한 번에 바꾸지 마.

Code

제공업체 비교 시험 장치·python

for provider in ["anthropic", "openai", "gemini"]:
    results[provider] = run_eval(
        cases=GOLDEN_SET,
        runner=PROVIDER_RUNNERS[provider],
        prompt_path=f"prompts/support/v8.{provider}.md",
    )

print_pivot(results)  # accuracy, cost, latency by provider

External links

Anthropic·OpenAI·Gemini 비교 안내서

Exercise

기존 프롬프트로 제공업체 세 곳에 골든 세트를 돌려봐. 제공업체마다 가장 크게 갈리는 비용과 품질을 찾고 각자 가장 잘 맞는 작업을 정해.

Progress

Progress is local-only — sign in to sync across devices.

← Previous오픈 소스 모델 — Llama, Qwen, Mistral Next →매체 차이 — 이미지, 오디오, 파일

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.