리전과 할당량은 출시 전에 계산해야 해

한도는 조직과 모델마다 따로 움직여

Anthropic Console의 조직에는 모델별로 분당 요청 수(RPM), 분당 입력 토큰(ITPM), 분당 출력 토큰(OTPM) 한도가 잡혀. 새 조직은 낮은 사용량 티어에서 시작하고 지출과 계정 이력에 따라 올라가. 지금 가진 한도를 모른 채 트래픽만 예상하는 건 용량 계획이 아니라 희망 사항이야.

클라우드 경로는 계산식을 다시 봐야 해

Bedrock은 AWS 계정과 리전별 할당량을 쓰고 AWS 지원을 통해 증설해. Vertex는 GCP 프로젝트별 한도를 쓰며 GCP 지원 절차를 따라. Anthropic 직접 API에서 맞춘 처리량 계산을 그대로 옮길 수 없으니, 약속할 응답량과 지연을 정하기 전에 실제 클라우드 콘솔에서 확인해야 해.

429 뒤의 행동까지 제품이 결정해

한도에 닿으면 429 Too Many Requests와 retry-after 헤더가 와. SDK의 기본 재시도 범위를 넘은 요청은 애플리케이션이 책임져야 해. 지수 백오프를 할지, 큐에 넣을지, 일부를 버릴지, 더 싼 모델이나 기능으로 낮출지 미리 골라 둬. 스트리밍은 이미 일부 출력이 전달됐을 수 있으므로 처음부터 다시 보내도 안전한지 별도로 판단해야 해.

원칙: 할당량과 리전 지연은 운영 뒤에 발견할 제약이 아니라 처음부터 넣을 아키텍처 입력값이야.

Code

레이트리밋 헤더 읽기 (Python)·python

from anthropic import Anthropic

client = Anthropic()
response = client.messages.with_raw_response.create(
    model="claude-sonnet-4-6",
    max_tokens=128,
    messages=[{"role": "user", "content": "hi"}],
)
for h in (
    "anthropic-ratelimit-requests-remaining",
    "anthropic-ratelimit-input-tokens-remaining",
    "anthropic-ratelimit-output-tokens-remaining",
    "retry-after",
):
    print(h, response.headers.get(h))

SDK 헬퍼 위에 백오프 한 겹·python

from anthropic import Anthropic, RateLimitError
import time, random

client = Anthropic(max_retries=3)  # SDK가 429/5xx를 이 횟수까지 자동 재시도.

def call_with_backoff(messages, attempts=5):
    delay = 1.0
    for i in range(attempts):
        try:
            return client.messages.create(
                model="claude-sonnet-4-6",
                max_tokens=512,
                messages=messages,
            )
        except RateLimitError as e:
            wait = float(e.response.headers.get("retry-after", delay))
            time.sleep(wait + random.random())
            delay *= 2
    raise RuntimeError("exhausted backoff")

한도는 조직과 모델마다 따로 움직여

클라우드 경로는 계산식을 다시 봐야 해

429 뒤의 행동까지 제품이 결정해

Code

External links

Exercise

Progress

댓글 0