서로 다른 질문에 답하는 두 문서
현대 LLM은 모델 카드와 시스템 카드를 함께 내기도 해. 둘은 같은 문서의 다른 형식이 아니라 서로 보완하는 자료라서 배포 전에 모두 읽는 게 좋아.
모델 카드
아키텍처, 학습 데이터 구성, 학습 연산량, 하이퍼파라미터, 평가 결과, 권장 용도, 라이선스를 기술적으로 설명해. Hugging Face에서는 대개 가중치 옆 README.md에 있어.
- 아키텍처: 어텐션과 FFN 종류, MoE 설정, 위치 인코딩, 어휘를 봐.
- 학습: 데이터 구성과 연산량, 최적화 방법을 확인해.
- 평가: 연구소가 강조한 벤치마크를 회의적으로 읽어.
- 한계: 제작자가 인정한 약점과 금지 용도를 봐.
- 라이선스: 가중치로 허용되는 일을 확인해.
시스템 카드
레드티밍 결과, 거부 행동, 알려진 위해, 배포 환경의 안전 조치처럼 안전과 정책을 설명해. Anthropic과 OpenAI는 주요 모델과 함께 자세한 시스템 카드를 내곤 해. 모델 카드보다 길고 까다롭지만 예상 밖의 정보가 여기 숨어 있을 수 있어.
읽는 순서
- 모델 카드의 아키텍처로 첫 번째 축을 잡아.
- 학습 절에서 공개된 만큼 두 번째 축을 채워.
- 평가 결과를 절차와 함께 읽어.
- 배포 전 라이선스를 확인해.
- 사용자에게 내놓기 전 시스템 카드를 읽어.
빠진 내용도 신호야
데이터 구성, 학습 연산량, 레드티밍 결과가 없다면 무엇을 공개하지 않았는지 적어 둬. 알려진 한계가 전혀 없는 카드는 기술 문서보다 마케팅 문서에 가까울 수 있어. 있는 내용과 없는 내용을 같은 주의로 읽어.