1M Token Window의 환상

상자에 적힌 숫자는 켤 수 있다는 표시지 매일 쓰는 도구가 아니야

2026년쯤 되면 200K, 400K, 1M, 심지어 2M token window까지 나와. 마케팅 자료가 그 숫자를 깃발처럼 흔들지. 현실은 좀 더 지저분해. 들어간다고 다 채우라는 뜻은 아니거든. 앞에 절벽이 셋 기다린다.

절벽 1 — 비용

주요 provider 대부분이 long-context 문턱(보통 input 200K 근처)을 넘는 순간 token 단가를 바꿔. Anthropic Sonnet은 1M-beta 모드에서 200K를 넘기면 input 가격이 2배가 되고 output도 꽤 뛰어. Gemini 2.5 Pro도 200K 넘으면 input 2배. OpenAI long-context 등급에도 웃돈이 붙고. long context는 돈 내고 켜는 기능이야. 공짜 업그레이드가 아니라.

절벽 2 — latency

context를 꽉 채우면 첫 token까지 걸리는 시간(TTFT)이 살벌해져. 1M token쯤 prefill하면 첫 글자 나오기까지 30초에서 2분이 보통이야. 몰아서 돌리는 분석이면 괜찮지. 사람이 옆에서 기다리는 code review에는 못 써. "빠르게"랑 "long context"는 보통 둘 중 하나를 고르는 문제야.

절벽 3 — attention

비용을 감당하고 기다림도 참았다 쳐. 그래도 모형이 input 전체를 똑같이 꼼꼼하게 보진 않아. RULER나 NoCha 같은 benchmark를 보면, 실제 추론력은 광고된 한도에 한참 못 미쳐서 무너져. "읽기는 읽는다"랑 "그걸 가로질러 생각한다"는 완전히 다른 얘기야.

1M context는 원자로지 출퇴근용 자동차가 아니야. 진짜 필요할 땐 강력해. 근데 32K window로 더 깔끔하게 끝날 일에 쓰면 그냥 낭비야.

Code

long-context 절벽 한눈에·yaml

long_context_cliffs:
  cost:
    threshold: "~200K input on most providers"
    effect: "input price typically 2x; output also rises"
  latency:
    one_million_token_prefill: "30s to 2min TTFT is normal"
    effect: "interactive feel disappears"
  attention:
    benchmark: ["RULER", "NoCha", "LongBench v2"]
    effect: "effective reasoning often 30-50% of advertised window"

long context가 답일 때·python

def use_long_context(task):
    return (
        task.is_batch_or_offline
        and task.requires_holistic_reasoning
        and not task.tolerates_retrieval_pipeline
        and task.willing_to_pay_premium_tier
    )
# Otherwise: RAG + small context + tool calls.

Exercise

지금 1M token window에 다 밀어넣고 있는 워크플로 하나 골라봐. 같은 답을 32K-64K 안에서 내주는 RAG + checkpoint 버전을 그려봐. 뭘 잃는지, 대신 속도랑 비용에서 뭘 얻는지 정리해보고.

Hint

잃는 게 "1M context 쓴다고 자랑할 권리"밖에 없으면, 답 나온 거야.

상자에 적힌 숫자는 켤 수 있다는 표시지 매일 쓰는 도구가 아니야

절벽 1 — 비용

절벽 2 — latency

절벽 3 — attention

Code

External links

Exercise

Progress

댓글 0