큰 컨텍스트 창은 공짜 기억이 아니야

넣은 만큼 입력 비용을 내

현재 Claude 모델은 표준 Sonnet·Opus에서 200K 토큰, 일부 선택형 모델에서 그보다 긴 문맥을 지원해. 하지만 긴 창은 가능한 최대 길이일 뿐, 모두 채우라는 지침이 아니야. 모델이 실제로 썼는지와 무관하게 150K 토큰을 보내면 150K 입력 토큰 비용을 내.

한도와 실제 집중 범위는 달라

API가 받아 주는 이론상 길이와 모델이 중요한 정보를 안정적으로 활용하는 유효 길이는 같지 않아. Claude가 긴 문맥 검색에 강해도 핵심 자료를 질문 가까이에 두고 문서를 구조화하면 더 잘 찾지. 마지막에 둘 수 있는 사실 하나 때문에 100K 토큰을 뒤지게 만들지 마.

보내기 전에 세어

messages.count_tokens()는 생성을 실행하지 않고 입력 토큰 수를 알려 줘. CI에서 시스템 프롬프트가 정한 예산을 넘지 않는지 확인하고, 운영에서는 예상치 못한 증가를 기록해. 길이를 느낌으로 관리하지 않는 가장 싼 방법이야.

원칙: 컨텍스트 창은 최대 거리일 뿐 목적지가 아니야. 필요한 정보까지 가장 짧은 경로를 만들어.

Code

비용 내기 전에 토큰 카운트·python

from anthropic import Anthropic
client = Anthropic()

count = client.messages.count_tokens(
    model="claude-sonnet-4-6",
    system=LONG_SYSTEM,
    messages=[{"role": "user", "content": LONG_USER}],
)
print("input tokens:", count.input_tokens)
assert count.input_tokens < 50_000, "prompt over budget"

답 가까이 질문 두기·python

# 나쁨: 질문 먼저, 그다음 80K 컨텍스트.
messages_bad = [{"role": "user", "content": "Summarize section 5.\n\n" + LONG_DOC}]

# 좋음: 컨텍스트, 그다음 끝에 명시적 질문 — 생성에 가장 가까이.
messages_good = [{"role": "user", "content": LONG_DOC + "\n\nNow summarize section 5."}]

넣은 만큼 입력 비용을 내

한도와 실제 집중 범위는 달라

보내기 전에 세어

Code

External links

Exercise

Progress

댓글 0