사전 학습된 모델

구조에 따라 모델 계열을 구분해

자연어 모델은 세 계열로 나뉘지만 실전의 대부분은 둘이 맡아. 인코더(BERT, RoBERTa)는 텍스트 표현을 학습해 분류, 개체명 인식, 추출형 질의응답에 쓰여. 디코더(GPT-2, Llama, Gemma)는 다음 토큰을 예측해 텍스트를 생성해. T5 같은 인코더-디코더가 세 번째 계열이지만 2026년에는 상대적으로 드물어. 브랜드보다 구조 유형이 모델의 쓰임을 결정한다는 점이 핵심이야.

크기도 base나 2b부터 large나 70b까지 다양하므로 GPU 메모리에 맞춰 골라. 같은 계열 안에서는 코드를 바꾸지 않고 프리셋 이름만 바꿀 수 있어.

불러오는 방식은 하나야

분류기와 생성기는 모두 from_preset()으로 불러오고 클래스 이름과 프리셋 문자열만 달라. 과제에 맞는 클래스를 고르고 프리셋을 넘기면 가중치와 짝이 맞는 토크나이저가 함께 와. 분류기에서는 num_classes로 과제별 클래스 수만 지정하면 사전 학습 백본은 유지되고 새 출력 헤드가 만들어져.

Code

분류기와 생성기를 같은 from_preset()으로 불러오기·python

import keras_hub

# Load a pretrained classifier
classifier = keras_hub.models.BertClassifier.from_preset(
    "bert_base_en",
    num_classes=4,
)

# Load a text generator
gpt2 = keras_hub.models.GPT2CausalLM.from_preset("gpt2_base_en")

구조에 따라 모델 계열을 구분해

불러오는 방식은 하나야

Code

External links

Exercise

Progress

댓글 0