KerasHub

hub 하나, API 하나, 모든 modality

KerasHub 는 KerasCV + KerasNLP 를 이어받은 통합 pretrained-model hub 야. 강점은 카탈로그 (BERT, GPT-2, Gemma, Llama, Mistral, T5, Whisper, Qwen, ResNet, ViT…) 만이 아니야 — vision 이든 NLP 든 audio 든 *전부* 같은 from_preset() 한 패턴으로 로드돼. 패턴 한 번 배우면 동물원 전체가 열려.

preset 은 weight 만 들고 오는 게 아냐

keras.applications 가 KerasHub 옆에서 저수준으로 느껴지는 이유 — preset 은 한 묶음을 통째로 줘. backbone weight + 짝 맞는 tokenizer/preprocessor + task 전용 head. BertClassifier.from_preset('bert_base_en', num_classes=4) 하면 raw text 를 token 으로 바꾸고 4-class logit 까지 내는 모델이 바로 나와 — tokenizer 따로 배선 안 해. 그래서 transfer 의 현대 default 입구야.

LoRA: 큰 모델 싸게 fine-tune

큰 backbone 은 full fine-tuning 이 비싸. backbone.enable_lora(rank=4) 가 Low-Rank Adaptation 을 켜 — 전체 weight matrix 를 갱신하는 대신, frozen 원본 옆에 작은 low-rank update matrix 만 학습해. trainable parameter 와 메모리 일부로 fine-tuning 이득 대부분을 챙겨. LLM 급 모델을 GPU 한 장에서 적응시키는 표준 기술이야. 아래 Code section 이 load → LoRA → fit 흐름을 보여줘.

Code

preset 로드 + LoRA 로 fine-tune·python

import keras_hub

# Load a pretrained NLP model
classifier = keras_hub.models.BertClassifier.from_preset(
    "bert_base_en",
    num_classes=4,
)

# Available models include:
# BERT, GPT-2, Gemma (1/2/3/4), Llama 2/3,
# Mistral, T5, Whisper, Qwen, and many more

# Fine-tune with LoRA for efficiency
classifier.backbone.enable_lora(rank=4)
classifier.compile(optimizer="adam", loss="sparse_categorical_crossentropy")
classifier.fit(train_ds, epochs=3)

hub 하나, API 하나, 모든 modality

preset 은 weight 만 들고 오는 게 아냐

LoRA: 큰 모델 싸게 fine-tune

Code

External links

Exercise

Progress

댓글 0