대체 경로 — 여러 모델로 하나의 약속 지키기 · Prompt Quest

모델 하나에만 기대면 쉽게 멈춰

제공업체에 장애가 나고 호출 한도에 닿으며 처리 용량이 흔들려. 중요한 시스템은 주 경로를 쓸 수 없어도 사용자가 답을 받을 수 있도록 대체 경로를 가져야 해.

대체 경로의 모양

주 모델 — 품질이 가장 좋고 기본으로 쓰는 모델.
보조 모델 — 비슷한 능력의 다른 제공업체 모델. 기반 시설이 달라 장애 양상도 달라.
마지막 모델 — 더 싸거나 로컬에서 돌아 품질은 낮아도 이용 가능한 모델.
캐시·고정 응답 — 일부 요청에는 유용한 안내가 든 “잠시 뒤 다시 시도해”가 막힌 요청보다 나아.

실패를 감지하고 이동해

5xx, 시간 초과, 무해한 요청의 정책 거절, 검증과 재시도 실패를 감지해.
실패할 때 다음 경로로 옮기고 모든 단계를 기록해.
최대 세 번처럼 이동 상한을 정하고 그 뒤에는 구조화 오류로 깨끗이 끝내.
마지막 모델도 정기적으로 요청을 받는다면 평가 모음에 포함해 품질을 재.

Code

대체 경로 연쇄·python

CHAIN = [
    {"provider": "anthropic", "model": "claude-opus-4-7"},
    {"provider": "openai",    "model": "gpt-5.5"},
    {"provider": "local",     "model": "llama4"},
]

async def call_with_fallback(req):
    last_err = None
    for step in CHAIN:
        try:
            return await call(step, req)
        except (TimeoutError, RateLimited, RefusalOnBenign) as e:
            last_err = e
            log.warning("fallback step failed", extra={"step": step, "err": str(e)})
    raise ServiceUnavailable from last_err

대체 경로 — 여러 모델로 하나의 약속 지키기

모델 하나에만 기대면 쉽게 멈춰

대체 경로의 모양

실패를 감지하고 이동해

Code

External links

Exercise

Progress

댓글 0