추론이 지나간 뒤에 웨이트는 무엇을 위한 것인가
open weights에 대한 대화는 대부분 추론에 관해 있어: 로컬에서 돌리고, 싸게 서빙하고, 레이트 리밋을 피하고, 유용하지만 — 이 관점은 보존을 노스탤지어로 만들어, 좋아했으니까 옛것을 간직하는 걸로 만들지. 더 강한 논증은 반대쪽을 가리켜: 웨이트는 건축 자재고, 가장 중요한 건축들은 그 아티팩트가 유행에서 벗어난 뒤에 일어나.
베이스 모델의 완전 정밀도 사본을 쥐면, 아직 아무도 생각하지 않은 작업의 출발점을 쥐는 거야. fine-tuning은 일반적인 아티팩트를 전문화해 — 네 데이터, 네 도메인, 네 목소리로. distillation은 어떤 능력을 원본이 못 돌아가는 곳에서 도는 더 작은 학생에게 압축해. 머징과 레이어 수술은 서로 다른 모델의 조각들을 조합해 진짜 새로운 객체를 만들어. 이 연산들 전부가 유용한 충실도로, 네가 통제하는 저장소 위에 텐서 그 자체를 요구해. 이 중 그 무엇도 API를 상대로 수행될 수 없어.
마지막 조항이 핵심이야. 호스티드 엔드포인트는 능력을 쓰게 해 주지. 제공자 쪽 fine-tuning도 있지만 그 결과물은 제공자의 인프라에 남아 — 결과를 빌리는 거지 수정된 아티팩트를 쥐는 게 아니야. 프로젝트가 "이 모델을 가져다 내 것으로 만들기"인 순간 — 톤에서, 도메인에서, 풋프린트에서 내 것 — 바이트가 필요해. 그리고 제공자가 그 사이에 배포를 게이트했거나, 저하시켰거나, 은퇴시켰다면, 얼마를 낼 의사가 있든 프로젝트의 출발 재료는 사라진 거야.
vessel 프레임
여기서 vessel은, 대체 불가능한 입력이 더 이상 받을 수 있으리라 가정할 수 없는 모델인, 미래에 지을지도 모르는 시스템 전부를 말해: 이후 회수된 교사 모델에서 증류된 온디바이스 조수. 베이스가 손실 많은 포맷으로 재공개된 도메인 어댑터. 논문이 쓴 정확한 아티팩트가 필요한 연구 재현. 내일의 vessel을 열거할 수는 없어 — 그게 원재료의 요점이지 — 그것들을 지을 수 있는 더미는 유지할 수 있어.
충실도가 이 논증을 아프게 만드는 부분이야. 손실 많은 사본이 이미 버린 정보를 향해 fine-tune할 수는 없어. 양자화는 그것을 통과한 아티팩트에게 일방통행 문이거든. 그래서 최고 충실도의 권위 있는 표현을 최적화하는 수집 정책(가장 작은 실행 가능 파일도, 페이지에서 가장 큰 블롭도 아니고)이 장작더미의 올바른 기본값이고, 양자화 파생형은 자기가 무엇인지 명확히 라벨된 의도적 추가물로서만 자리를 얻는 거야.
옵션을 열어 두기
더미를 정당화하려고 구체적인 vessel 계획이 필요한 게 아니야 — 저 모양의 계획이 존재하고 사후에 보면 흔했다는 인식이 필요하지. 싼 전략은 비대칭적이야: 존중하는 모델마다 권위 있는 사본 하나를 수집하는 건 디스크와 인내심의 비용이고, 이 년 뒤에 필수 베이스를 받을 수 없다는 걸 발견하는 건 프로젝트 전체의 비용이야. 문을 열어 두는 쪽으로 최적화하고, 어떤 문으로 걸어 들을지는 미래의 너에게 맡겨.