Docs는 ground truth, 모델은 의심 대상

모델은 자기에 대해서도 거짓말해

Claude 모델마다 지식 컷오프가 있어. 가장 최신 모델 뭐냐고 물으면 학습 데이터 기준으로 답해 — 가끔은 몇 년 stale. SDK 이름, 함수 시그니처, 디폴트 옵션, 가격 다 마찬가지. 모델은 자신 있게 답해, 이미 움직여간 세상에 대해.

신뢰 순서

SDK·모델 질문이면 신뢰 순서는: (1) 지금 fetch할 수 있는 docs, (2) 환경에 설치된 소스 코드, (3) 모델 자체의 답. 이 순서 뒤집으면 deprecated된 SDK 모양에 맞춰 짜거나, 더 이상 존재하지 않는 모델 id를 핀하게 돼.

cwkPippa는 어떻게 우회하나

cwkPippa의 docs 인덱스는 Obsidian vault에 canonical 텍스트로 살아. Claude-피파가 SDK 질문에 답할 때 시스템 프롬프트에 이미 backend/adapters/claude.py의 최신 fingerprint랑 관련 Anthropic docs가 실려 있어. 모델은 현재 텍스트에 대한 추론기지, 지식 베이스 아니야.

원칙: 5분 전에 fetch한 docs를 믿어. 작년에 본 모델 기억은 의심해.

Code

설치된 패키지에서 SDK 모양 검증·bash

# 이 venv에 실제로 뭐가 깔려 있나?
pip show anthropic | head -n 5
python -c "from anthropic import Anthropic; import anthropic; print(anthropic.__version__)"

# 이 버전이 뭘 노출하나?
python -c "from anthropic.types import Message; print([f for f in Message.model_fields])"

docs를 모델 컨텍스트에 끌어다 넣기, 기억 믿지 말고·python

import httpx
from anthropic import Anthropic

docs = httpx.get("https://docs.claude.com/llms.txt").text  # Anthropic이 발행하는 평탄한 llms.txt 인덱스.

client = Anthropic()
resp = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=512,
    system="Answer using ONLY the docs provided. Quote the section you used.",
    messages=[
        {"role": "user", "content": f"<docs>\n{docs}\n</docs>\n\nWhat package is the renamed Agent SDK on PyPI?"},
    ],
)
print(resp.content[0].text)

Docs는 ground truth, 모델은 의심 대상

모델은 자기에 대해서도 거짓말해

신뢰 순서

cwkPippa는 어떻게 우회하나

Code

External links

Exercise

Progress

댓글 0