탐색, 필터링, 네이밍 컨벤션

필터를 알면 Hub의 분류법이 보여

/models 페이지와 API는 같은 축으로 모델을 나눠. task(pipeline_tag), library, language, license, provider, size, format을 조합하고, 인기·다운로드·좋아요·수정일·생성일 순으로 정렬할 수 있어. 이 필터를 단순한 화면 장식이 아니라 Hub의 분류 체계로 이해하면 후보를 찾는 시간이 크게 줄어.

이름에는 용도가 묻어 있어

모델 ID는 대체로 {org}/{base}-{size}-{variant} 형태를 따라. 강제 규칙은 아니지만 다음 표기는 빠르게 후보를 가르는 데 유용해.

meta-llama/Llama-3.1-8B는 instruction tuning을 하지 않은 베이스 모델이야.
meta-llama/Llama-3.1-8B-Instruct는 대화형 지시 수행에 맞춘 변형이야.
TheBloke/Llama-2-7B-Chat-GGUF는 llama.cpp나 Ollama에서 쓰는 GGUF 양자화 모델이야.
-AWQ, -GPTQ, -bnb-4bit는 보통 추론용 양자화 방식을 나타내.
-Matryoshka, -Distill은 임베딩 축소나 지식 증류 같은 특수 변형을 암시해.

다만 이름은 힌트일 뿐이야. 확정적인 계보는 모델 카드의 base_model과 base_model_relation처럼 기계가 읽을 수 있는 메타데이터에서 확인해야 해.

Code

여러 axis 로 필터링·python

from huggingface_hub import HfApi

api = HfApi()

# 한국어 text-generation 모델, Apache-2 only, Transformers loadable
results = api.list_models(
    task="text-generation",
    language="ko",
    library="transformers",
    sort="downloads",
    limit=10,
)
for m in results:
    print(f"{m.id:<55} dl={m.downloads or 0:>8}  {','.join((m.tags or [])[:4])}")

카드 본문 포함 풀텍스트 검색·python

from huggingface_hub import HfApi
api = HfApi()

# id 만이 아니라 모델 카드 / readme 본문도 검색
results = api.list_models(
    search="korean instruction tuning",
    sort="downloads",
    limit=5,
)
for m in results:
    print(m.id)

Exercise

huggingface.co/models를 열고 후보가 20개 이하가 될 때까지 필터를 적용해. task는 text-generation, language는 en 또는 ko, library는 transformers, license는 apache-2.0 또는 mit, 규모는 1B~8B로 맞춘 뒤 Trending 순으로 정렬해. 온프레미스 프로젝트에서 실제로 검토할 모델 세 개를 고르고 카드의 차이를 메모해.

필터를 알면 Hub의 분류법이 보여

이름에는 용도가 묻어 있어

Code

External links

Exercise

Progress

댓글 0