확률적 output은 기대하지 말고 테스트하라는 뜻이야

같은 프롬프트, 다른 답

temperature 0에서도 modern 모델은 비트 단위로 deterministic하지 않아. server-side batching, tokenizer 변화, floating-point 순서가 output을 흔들어. non-zero temperature에서는 distribution에서 sampling하는 거고. "방금 한 번 해봤는데 됐어"는 프롬프트가 work한다는 evidence가 아니야 — 한 sample이 work했다는 evidence지.

'work한다'가 진짜 뭘 뜻하나

프롬프트가 work한다는 건, 너가 신경 쓰는 input distribution에 대한 output distribution이 너가 견딜 수 있는 비율로 contract를 만족한다는 거야. 이 한 문장이 평범하지 않은 이유는 모든 단어가 load-bearing이거든.

input distribution — 너가 시도해본 그 한 example만이 아니야.
output distribution — 너가 본 그 한 sample만이 아니야.
견딜 수 있는 비율 — safe rejects는 99%, creative task는 80%; 의도적으로 골라.

최소 eval

프롬프트 ship하기 전에 representative input 적어도 20개 (디자인할 때 쓴 거 말고)에 대해 돌려봐. output을 contract 기준으로 score해. failure mode를 메모해. 이게 의미 있는 "works"의 최소 단위야. 트랙 8에서 진짜 eval design으로 확장.

Code

최소한으로 유용한 prompt eval (Python)·python

import anthropic

client = anthropic.Anthropic()
PROMPT = open("prompts/v3.md").read()

cases = [
    {"input": "...", "must_contain": ["summary"], "must_not_contain": ["I cannot"]},
    # ... 19 more from real traffic
]

failures = []
for c in cases:
    out = client.messages.create(
        model="claude-opus-4-7",
        max_tokens=512,
        messages=[{"role": "user", "content": PROMPT.format(input=c["input"])}]
    ).content[0].text
    if any(s not in out for s in c["must_contain"]):
        failures.append((c, out, "missing required"))
    if any(s in out for s in c["must_not_contain"]):
        failures.append((c, out, "contained forbidden"))
print(f"{len(failures)}/{len(cases)} failed")

확률적 output은 기대하지 말고 테스트하라는 뜻이야

같은 프롬프트, 다른 답

'work한다'가 진짜 뭘 뜻하나

최소 eval

Code

External links

Exercise

Progress

댓글 2