Output에 citation과 traceability

~12 min · outputs, citations, traceability

Level 0수련생

0 XP0/100 lessons0/14 achievements

0/120 XP to next level120 XP to go0% complete

Output을 audit 가능하게

High-stakes output (compliance, finance, support, user 영향 결정)에는 사후에 response의 모든 claim을 source — chunk, tool 결과, reasoning trace의 step — 로 trace 가능해야 해. 그 trace 없으면 wrong 답 디버그 못 하고 right 답 defend 못 해.

3단계 traceability

Provenance field — 모든 output object에 sources (chunk id, tool call id) 포함.
Native citation — Anthropic Citations feature가 output span → input span return.
Trace log — 전체 request, prompt version, model version, retrieved chunk, tool call, response. Response id 가지고 persist.

이게 prompt design 우려인 이유

Traceability bolt-on 못 해. 프롬프트가 output schema에 source require해야, chunk가 stable id 가져야, tool이 structured argument와 result log해야. 일찍 build in해; retrofit 비싸.

Code

provenance 박힌 schema·json

{
  "answer": "...",
  "sources": [
    {"type": "chunk", "id": "manual:section-3.4", "score": 0.91},
    {"type": "tool", "id": "call_xyz", "name": "search_orders"}
  ],
  "prompt_version": "support@7",
  "model": "claude-opus-4-7",
  "created_at": "2026-05-04T12:34:56Z"
}

External links

Exercise

한 프롬프트에서 output schema에 sources field 추가. RAG source는 chunk id로 populate. Tool output은 tool call id로 populate. 잘못된 답이 이제 traceable한지 verify.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousPydantic / Zod / Schema가 contract야 Next →퀴즈 · 4 questions

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.