한 계열이 네 차례 크게 바뀌었어
RWKV는 진화 속도가 빨라. 버전마다 새 별칭이 붙고, 바로 앞 버전에서 드러난 구체적인 한계를 고쳐.
v4 "Dove"(2023, EMNLP)는 안정적인 token-shift를 세웠어. 각 층이 현재 토큰과 이전 토큰을 섞어, 명시적으로 어텐션하지 않고도 가까운 문맥을 받아. RWKV가 매개변수 14B까지 커진 첫 버전이기도 해. 아키텍처가 큰 규모에서도 버틴다는 걸 보여 줬지.
v5 "Eagle"(2024, COLM)의 큰 변화는 여러 head로 나뉜 64×64 행렬값 상태야. head마다 벡터 하나를 두는 대신 완전한 행렬을 유지해. 매개변수에 견준 상태의 정보 운반량이 크게 늘었어. Microsoft가 Windows 기기 약 15억 대에 실은 버전도 v5야.
v6 "Finch"(2024)는 LoRA 기반의 데이터 의존 token shift를 넣었어. 현재 토큰과 이전 토큰을 섞는 비율이 입력마다 달라져 순환식이 더 역동적으로 바뀌었지. 벤치마크는 약 5–7% 좋아졌고, 내용을 보고 스스로 조절하는 순환 구조를 향해 첫발을 뗐어.
v7 "Goose"(2025.3)는 전체 상태의 변화에 일반화 델타 규칙을 넣었어. 식은 S_t = S_{t-1} · (diag(w_t) + a_t^T · b_t) + v_t^T · k_t야. 이 순환식은 내부에서 예측 오차에 대한 경사 하강을 사실상 수행해. 예전에는 명시적인 어텐션이 필요하다고 보던 in-context learning의 한 형태를 순환 상태 안으로 가져온 거야.
"RWKV"라는 이름만 보고 비교하면 안 돼
주요 아키텍처 가운데서도 RWKV는 버전 갱신이 유난히 빠르고, 버전 사이의 차이도 커. v4의 결과를 v6에 그대로 옮길 수 없고 v6의 결과도 v7을 완전히 설명하지 못해. “RWKV가 어떤 벤치마크에서 다른 모델을 이겼다”는 문장을 보면 버전부터 확인해. 현재 기준은 v7이고 이전 결과는 대부분 역사 자료야.