강화학습이 추론 행동을 만드는 법

추론 모델을 만드는 여러 단계

세부 순서는 모델마다 다르지만 2025~2026년의 대표적인 학습 흐름은 사전 학습, 지도 미세 조정, 강화학습, 선택적 정제의 네 단계로 볼 수 있어.

1단계: 사전 학습

다른 LLM처럼 거대한 말뭉치에서 다음 토큰을 예측해. 많이 알지만 아직 쓸 만한 조력자는 아닌 기반 모델이 만들어져. 추론 모델도 보통 일반 형제 모델과 같은 기반에서 시작해.

2단계: 지도 미세 조정(SFT)

사람이 쓰거나 강한 모델에서 증류하거나 프로그램으로 만든 고품질 단계별 풀이를 학습해. SFT는 문제를 언제 나누고 어떻게 검산하며 언제 되돌아갈지, 좋은 추론의 모양을 보여 줘.

3단계: 강화학습

수학, 코드, 논리처럼 답을 검증할 수 있는 문제에 여러 풀이를 만들고 정답에 보상을 줘.

PPO: 초기 RLHF에 널리 쓰인 표준 정책 최적화 방식이야.
GRPO: 응답 묶음 안에서 상대적인 이점을 계산해 별도 비평가를 없앤 DeepSeek의 방식이야.
DPO: 별도 보상 모델 없이 선호 응답 쌍에서 직접 배우는 단순한 방식이야.
RLVR: 학습된 보상 모델 대신 수학 풀이기나 코드 실행기처럼 답을 확인하는 프로그램을 써.

4단계: 거부 샘플링과 정제

강화학습한 모델로 많은 후보 답을 만든 뒤 좋은 것만 골라 다시 미세 조정할 수 있어. 강화학습을 계속하는 것보다 적은 연산으로 풀이 품질을 다듬는 단계야.

R1-Zero의 ‘아하’ 순간

DeepSeek-R1-Zero는 SFT 없이도 결과 보상만으로 자기 검산, 되돌아보기, 단계별 분해 같은 추론 행동이 나타날 수 있음을 보여줬어. 모델은 정답에만 보상을 받으며 스스로 풀이 전략을 발견했지. 모든 추론 행동을 사람이 예제로 손수 심어야 한다는 생각을 흔든 결과야.

Code

GRPO 이점 계산 개요·python

def grpo_advantage(rewards):
    # rewards: tensor of shape (group_size,) — N samples for the same prompt
    mean = rewards.mean()
    std  = rewards.std() + 1e-8
    return (rewards - mean) / std   # group-relative advantage; no critic needed

수학 검증기를 쓴 RLVR 반복문·python

def rlvr_step(model, prompts, verifier):
    rollouts = [model.generate(p) for p in prompts]
    rewards  = [1.0 if verifier(p, r) else 0.0 for p, r in zip(prompts, rollouts)]
    update_policy(model, rollouts, rewards)

추론 모델을 만드는 여러 단계

1단계: 사전 학습

2단계: 지도 미세 조정(SFT)

3단계: 강화학습

4단계: 거부 샘플링과 정제

R1-Zero의 ‘아하’ 순간

Code

External links

Exercise

Progress

댓글 0