모델의 말이 실제 행동으로 이어질 때
이메일 발송, 코드 실행, URL 조회처럼 부작용이 있는 도구는 실행 환경에서 격리해야 해. 모델이 얼마나 확신했는지와 관계없이 각 호출이 할 수 있는 일에 물리적 한계를 둬.
격리하는 다섯 방식
- 자원 제한 — URL 도구는 내부 IP, file:// URL, 메타데이터 끝점을 통신 정책으로 막아.
- 프로세스 격리 — 코드는 컨테이너, VM, WASM에서 돌리고 호스트 파일과 환경 변수에 닿지 못하게 해.
- 도구별 호출 상한 — 한 세션에서 민감한 도구를 부를 수 있는 횟수를 제한해.
- 허용 목록 — charge_card나 send_email_external은 확인된 대상만 받고 나머지는 거절해.
- 모의 실행 — 첫 호출은 실행이 아니라 계획만 만들고 사람이나 후단 검사를 거쳐 확정해.
한계는 실행 코드가 소유해야 해
“1,000달러가 넘으면 charge_card를 부르지 마”는 지침일 뿐이야. 도구 구현이 1,000달러 초과 호출을 거절해야 보장이 돼.