KerasHub

하나의 허브와 API로 여러 자료 유형을 다뤄

KerasHub는 KerasCV와 KerasNLP를 이어받은 통합 사전 학습 모델 허브야. BERT, GPT-2, Gemma, Llama, Mistral, T5, Whisper, Qwen, ResNet, ViT 같은 폭넓은 목록뿐 아니라 이미지, 자연어, 오디오 모델을 모두 같은 from_preset() 방식으로 불러온다는 점이 강점이야. 호출 방식 하나를 익히면 전체 모델군을 탐색할 수 있어.

프리셋은 가중치보다 많은 것을 묶어 줘

프리셋에는 백본 가중치, 그 모델과 짝이 맞는 토크나이저나 전처리기, 과제별 출력 헤드가 함께 들어 있어. BertClassifier.from_preset('bert_base_en', num_classes=4)를 호출하면 원시 텍스트를 토큰으로 바꾸고 4개 클래스의 로짓까지 출력하는 모델이 만들어져. 토크나이저를 따로 연결할 필요가 없으므로 현대 전이 학습의 편리한 출발점이야.

LoRA로 큰 모델을 저렴하게 미세 조정하기

큰 백본 전체를 미세 조정하려면 많은 메모리와 계산이 필요해. backbone.enable_lora(rank=4)는 Low-Rank Adaptation을 켜서 원래 가중치 행렬은 고정하고 옆의 작은 저랭크 갱신 행렬만 학습해. 학습 가능한 매개변수와 메모리를 크게 줄이면서 미세 조정 효과 대부분을 얻을 수 있어. LLM 규모의 모델을 GPU 한 장에서 적응시킬 때 널리 쓰이는 방식이야. 아래 코드는 불러오기 → LoRA 활성화 → 학습 흐름을 보여 줘.

Code

프리셋 불러오기와 LoRA 미세 조정·python

import keras_hub

# Load a pretrained NLP model
classifier = keras_hub.models.BertClassifier.from_preset(
    "bert_base_en",
    num_classes=4,
)

# Available models include:
# BERT, GPT-2, Gemma (1/2/3/4), Llama 2/3,
# Mistral, T5, Whisper, Qwen, and many more

# Fine-tune with LoRA for efficiency
classifier.backbone.enable_lora(rank=4)
classifier.compile(optimizer="adam", loss="sparse_categorical_crossentropy")
classifier.fit(train_ds, epochs=3)

하나의 허브와 API로 여러 자료 유형을 다뤄

프리셋은 가중치보다 많은 것을 묶어 줘

LoRA로 큰 모델을 저렴하게 미세 조정하기

Code

External links

Exercise

Progress

댓글 0