미세 조정 vs 프롬프팅 vs 특징 추출

비용이 낮은 순서로 보는 3가지 적응 전략

프롬프팅 — 자연어로 과제를 설명해. 학습 비용이 전혀 들지 않고, 빠르게 반복할 수 있으며, 많은 과제에서 놀랄 만큼 잘 작동해. 다만 프롬프트 문맥 길이와 프롬프트 엔지니어링의 한계에 묶여.
특징 추출 — 사전 학습된 인코더로 데이터를 임베딩한 다음, 그 위에 작은 전통적 헤드(선형 모델, MLP, 기울기 부스팅)를 학습해. 백본은 학습하지 않아. 저렴하고 확장하기 쉬워.
미세 조정 — 본인 과제에 맞춰 백본을 실제로 갱신해. 전체를 갱신하거나 LoRA를 사용할 수 있어. 성능 상한은 가장 높지만, 엔지니어링 투자가 가장 많이 들고 과적합 위험도 가장 커.

팁: 이 순서대로 시도하고, 정확도 기준을 만족하는 첫 번째 방법에서 멈춰. 대부분의 운영 팀은 프롬프팅과 소수의 예시만으로도 long tail을 처리할 수 있다는 걸 알게 돼. 미세 조정은 정말 필요한 경우를 위해 남겨 둬.

각 방법이 유리한 때

프롬프팅이 유리해 — 과제가 모델의 학습 분포 안에 있을 때야. 일반 추론, 흔한 글쓰기 과제, 널리 쓰이는 언어의 코드 완성이 여기에 해당해.
특징 추출이 유리해 — 대규모로 빠른 추론이 필요하고, 관련 신호가 이미 사전 학습된 임베딩에 담겨 있을 때야.
미세 조정이 유리해 — 모델이 특정 스타일, 도메인, 형식에 맞춰 일관되게 행동해야 하고, 라벨이 붙은 예시가 수백~수천 개 있을 때야.

3가지 모두를 자주 이기는 하이브리드

RAG(프롬프팅 + 검색한 문맥)에 few-shot 예시와 작은 reranker를 더한 방식은 지식 집약적 과제에서 미세 조정보다 자주 좋은 결과를 내. 인프라는 더 복잡해지지만, 과제마다 드는 적응 비용은 낮게 유지할 수 있어.

원칙: 적응 비용은 정확도만큼 중요해. CPU에 배포할 수 있는 동결된 백본 분류기가 요청마다 GPU를 써야 하는 완전히 미세 조정된 7B 모델보다 자주 더 나은 선택이 돼. 모델만 보지 말고 전체 파이프라인을 설계해.

Code

Sentence Transformer를 활용한 특징 추출·python

from sentence_transformers import SentenceTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score

# 1. Frozen pretrained encoder
encoder = SentenceTransformer("all-MiniLM-L6-v2")

# 2. Embed your text
X_train_emb = encoder.encode(X_train_texts, normalize_embeddings=True)
X_val_emb   = encoder.encode(X_val_texts,   normalize_embeddings=True)

# 3. Cheap classical head
clf = LogisticRegression(max_iter=1000).fit(X_train_emb, y_train)
preds = clf.predict(X_val_emb)
print(f"f1: {f1_score(y_val, preds, average='macro'):.3f}")
# This baseline often beats hopeful fine-tuning attempts on small datasets.

비용이 낮은 순서로 보는 3가지 적응 전략

각 방법이 유리한 때

3가지 모두를 자주 이기는 하이브리드

Code

External links

Exercise

Progress

댓글 0