왜 Fine-Tune (vs. Prompt, vs. RAG)

~20 min · training, decision

Level 0스카우트

0 XP0/50 lessons0/10 achievements

0/120 XP to next level120 XP to go0% complete

미세조정 전에 더 싼 수단부터 확인해

프롬프트는 시스템 지시, chat template, few-shot 예제로 행동과 형식을 조정해. 보통 몇 시간 안에 검증할 수 있어.
RAG는 추론할 때 관련 자료를 가져와 최신 지식, 출처, 큰 지식 기반을 제공해.
미세조정은 작업 데이터로 가중치를 바꿔 깊은 행동·스타일·어휘를 익히게 하지만 데이터, GPU, 지속 평가가 필요해.

평가가 미세조정 필요성을 증명해야 해

여러 차례 프롬프트를 다듬어도 평가셋에서 불안정하고, RAG 문맥이 지연 예산을 넘으며, 고품질 예제가 적어도 1,000개 이상 있고, 학습 뒤 평가를 계속할 예산이 있을 때 시작해. 사실을 새로 넣으려는 목적이라면 대부분 미세조정보다 RAG가 맞아. 미세조정은 주로 무엇을 아는지가 아니라 어떻게 행동할지를 가르쳐.

Code

Fine-tune vs prompt vs RAG: pseudo-결정·python

def choose_strategy(eval_score_with_prompt, latency_budget_ms, has_facts_to_inject, num_examples):
    if eval_score_with_prompt >= target_score:
        return "stay with prompt engineering"
    if has_facts_to_inject and latency_budget_ms > 500:
        return "RAG"
    if num_examples >= 1000 and gpu_budget_available:
        return "fine-tune (start with LoRA)"
    return "collect more data, retry"

External links

Exercise

너가 가진 진짜 task 골라. 타겟 metric 정의. baseline 셋 빌드: (1) zero-shot prompt, (2) few-shot prompt, (3) 작은 지식 베이스 RAG. 각각 score. 셋 다 plateau 한 후에만, 비용 가치 있는 fine-tune 계획.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousMixed Precision, Gradient Accumulation, 메모리 Next →LoRA: Low-Rank Adaptation

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.