1M 토큰은 넓이가 필요한 일에만 값을 해
Gemini 2.5 Pro와 3.0 Pro의 1M 토큰 문맥 창은 중간 규모 코드베이스 전체, 500쪽 PDF, 오랜 대화 기록을 한 번에 담을 수 있어. 여러 영역을 동시에 봐야 하는 리팩터링과 큰 자료 종합에서 가능한 일의 범위를 넓혀.
하지만 큰 문맥은 지연 시간과 비용도 키워. 단일 파일을 고치는 데 저장소 전체를 넣으면 나머지 토큰은 아무 일도 하지 않고 요금만 먹어. 넓이가 필요한 코드베이스 감사나 대규모 자료 검색에는 1M 모델을 쓰고, 좁은 작업은 필요한 파일만 읽게 해.
같은 큰 자료를 여러 번 물을 때는 지시문 캐시가 입력 대부분을 재사용해 이후 호출이 싸져. 안정적인 자료 묶음 위에서 반복하고 매번 문맥을 새로 조립하지 마.
비교 기준으로 Claude Sonnet의 일반 문맥은 200K, Codex는 256K야. 넓이가 필요하지 않은 일에서는 이 차이가 곧 장점은 아니야.