Pretrained model

~8 min · keras-nlp

Level 0Keras 도제

0 XP0/97 lessons0/20 achievements

0/120 XP to next level120 XP to go0% complete

NLP 의 두 가지 pattern: (1) encoder (BERT, RoBERTa) — 분류 / NER / 추출형 QA, 텍스트의 representation 학습. (2) decoder (GPT-2, Llama, Gemma) — 텍스트 생성, 다음 token 예측.

둘 다 KerasHub 에서 한 줄. BertBackbone.from_preset('bert_base_en') / GemmaCausalLM.from_preset('gemma_2b_en'). 작은 (b/2b) 부터 큰 (l/70b) 까지 size variant. memory 따라 골라.

Code

import keras_hub

# Load a pretrained classifier
classifier = keras_hub.models.BertClassifier.from_preset(
    "bert_base_en",
    num_classes=4,
)

# Load a text generator
gpt2 = keras_hub.models.GPT2CausalLM.from_preset("gpt2_base_en")

External links

Exercise

BertBackbone (small) + GemmaCausalLM (small) 로드. parameter 수 출력. 같은 text input 으로 inference. BERT 는 embedding 내고, Gemma 는 token logit 내는 거 메모.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousKerasNLP / KerasHub 가 뭐야?Next →Tokenizer

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.