맥락 창의 계산법 — 토큰, 순서, 남는 자리 · Prompt Quest

글자가 아니라 토큰으로 계산해

모델은 요금도 한도도 추론량도 토큰 단위로 계산해. 영어에서는 토큰 하나가 대략 단어의 4분의 3이라고 어림하지만, 한국어와 코드는 밀도가 전혀 다르고 토크나이저에 따라서도 값이 달라져. Anthropic, OpenAI, Google은 서로 다른 토크나이저를 쓰므로 같은 영어 문단조차 토큰 수가 같지 않아. 같다고 가정하면 맥락 창 계산이 20~30%씩 빗나갈 수 있어.

모델마다 확인할 세 숫자

전체 맥락 창 — 입력과 출력을 합친 한도야. Claude Opus 4.7에는 100만 토큰 모드가 있고, OpenAI GPT-5.5와 Gemini 2.5 Pro는 등급에 따라 20만~200만 토큰을 받아.
출력 상한 — 한 번의 응답으로 실제 내보낼 수 있는 최대치야. 대개 전체 맥락 창보다 훨씬 작아.
실제로 쓸 수 있는 주의 예산 — 일정 길이를 넘으면 정보를 찾는 힘이 떨어져. 기술적으로 100만 토큰을 읽더라도 중간에 놓인 내용을 처음과 끝만큼 잘 붙잡지는 못해. 일곱 번째 수업에서 이 한계를 다시 볼 거야.

놓는 순서도 프롬프트야

모델은 긴 맥락의 시작과 끝에 더 많은 주의를 주는 경향이 있어. 이른바 ‘중간에서 잃어버리기’ 효과야. 핵심 지시는 맨 앞에, 가장 중요한 근거는 문서 묶음의 앞쪽에 놓고, 맥락이 아주 길다면 마지막에 지시를 한 줄로 다시 붙여.

Code

프롬프트 토큰 세기·python

import anthropic

client = anthropic.Anthropic()
resp = client.messages.count_tokens(
    model="claude-opus-4-7",
    system=open("prompts/agent.md").read(),
    messages=[{"role": "user", "content": user_text}]
)
print(resp.input_tokens, "input tokens")

긴 맥락의 앞뒤로 지시 감싸기·markdown

# Top of context — full instruction
[5-clause contract]

# Documents
[hundreds of thousands of tokens]

# Bottom of context — short reminder
Return JSON matching the schema above. Cite each claim with a doc id.

맥락 창의 계산법 — 토큰, 순서, 남는 자리

글자가 아니라 토큰으로 계산해

모델마다 확인할 세 숫자

놓는 순서도 프롬프트야

Code

External links

Exercise

Progress

댓글 0