지시문보다 맥락이 훨씬 커

모델에 보내는 것 대부분은 지시문이 아니야

2026년의 흔한 운영 요청을 보자. 시스템 프롬프트는 200토큰, 사용자 메시지는 50토큰인데 RAG 결과·대화 기록·도구 정의로 이뤄진 맥락은 3만 토큰일 수 있어. 모델이 읽는 내용에서 지시문은 1%도 안 되는 셈이야. 그래서 “프롬프트 설계”라는 이름은 일의 크기를 잘못 보여줘. 실제 일의 대부분은 맥락 설계야.

무게중심이 옮겨가는 곳

가장 큰 개선 여지는 “더 좋은 지시문”보다 “더 알맞은 맥락 선택”에 있어.
오류의 주된 원인은 표현 하나보다 청크의 관련성이 돼.
비용의 중심은 짧은 출력보다 거대한 입력으로 옮겨가.
평가도 LLM의 마지막 답만 보지 말고 검색 단계부터 함께 재야 해.

전체 시스템으로 바라봐

이 트랙에서 본 청크 나누기, 검색, 재순위화, 인용, 캐싱, 압축, 순서는 모두 프롬프트의 일부야. 초급자는 지시문을 쓰고, 숙련자는 모델이 읽을 세계의 모양을 설계해.

Code

흔한 운영 요청에서 토큰이 쓰이는 곳·plaintext

system prompt        :   200 tokens (1%)
user message         :    50 tokens (<1%)
tool definitions     :   400 tokens (1%)
conversation history : 2,000 tokens (7%)
RAG context          :27,000 tokens (90%)
----------------------------
total input          :29,650 tokens

모델에 보내는 것 대부분은 지시문이 아니야

무게중심이 옮겨가는 곳

전체 시스템으로 바라봐

Code

External links

Exercise

Progress

댓글 0