두 문서
현대 LLM release 가 보완하는 두 문서 ship. 헷갈리는 거 흔함; 둘 다 읽는 게 right discipline.
Model card
기술적 모델 묘사: architecture, training data composition, training compute, hyperparameter, evaluation result, intended use, license. Hugging Face 가 weights 옆 README.md 로 host. 가장 useful 섹션 보통:
- Architecture — attention type, FFN type, MoE config, position encoding, vocab.
- Training — 데이터셋 composition (종종 모호), training compute, optimization.
- Evaluation — lab 이 강조 원하는 benchmark (benchmark-skepticism stack 적용).
- Limitation — lab 이 모델이 못한다고 인정하는 거.
- License — weights 로 할 수 있는 거.
System card
안전/정책/evaluation 스토리 묘사: red-teaming 결과, 거부 행동, 알려진 harm, deployment-specific 안전 조치. Anthropic 과 OpenAI 가 주요 release 와 함께 자세한 system card 발행. Model card 보다 더 dense, 종종 가장 놀라운 정보 포함.
먼저 읽을 거
- Model card architecture 섹션 — axis 1 에 모델 위치.
- Training 섹션 — lab 이 disclose 하는 만큼 axis 2 에 위치.
- Evaluation, 회의적으로.
- License — 배포 전.
- System card — user 에게 배포 전.
Card 에 NOT 인 것도 signal
Dataset composition, training compute, 또는 red-teaming 결과 omit 하는 card 가 lab 이 disclose 하기 싫다는 거 말해줘. 알려진 limitation omit 하는 card 가 lab 이 기술 옷 입은 마케팅 한다는 거 말해줘. 있는 거만큼 carefully 없는 거 읽어.