KerasHub에는 BERT, GPT-2, Llama, Gemma, Mistral이 들어 있고 분류·생성 출력 헤드와 토크나이저가 모델에 묶여 있어. LoRA 미세 조정도 인자 하나로 켤 수 있으므로 Gemma를 사용자 자료에 맞추는 일부터 저장 모델까지 반나절 안에 이어 갈 수 있어.
이름은 바뀌었지만 개념은 하나야
KerasNLP는 원래 사전 학습된 Transformer, 짝이 맞는 토크나이저, 과제별 출력 헤드를 묶은 텍스트·LLM 전용 패키지였어. 2024년 9월에 KerasHub로 이름이 바뀌었고 KerasCV까지 같은 허브에 통합됐어. 이제 텍스트, 이미지, 오디오 모델을 모두 같은 from_preset() 방식으로 불러와. 한 자료 유형에서 익힌 패턴을 다른 유형에도 그대로 적용할 수 있지.
keras_nlp 가져오기는 이전 튜토리얼의 하위 호환성을 위해 남아 있지만 새 코드는 keras_hub를 사용해. 2023년 예제가 keras_nlp를 쓴다면 틀린 것이 아니라 오래된 방식이며, 가져오기 경로를 바꾸면 나머지 API는 이어져.
허브는 모델 전체의 짝을 보장해
프리셋에는 구조, 사전 학습 가중치, 그 모델이 학습할 때 사용한 토크나이저가 함께 들어 있어. 셋은 따로 바꿔 쓸 수 없는 한 묶음이야. 사전 학습 모델, 토크나이저, 분류, 생성, LoRA를 다루는 이후 과들은 같은 from_preset() 객체에 서로 다른 작업을 적용하는 변형이라고 볼 수 있어.