토큰당 일정한 비용으로 어디까지 갈까
RWKV는 RNN처럼 토큰당 O(1) 추론 비용을 유지하면서 트랜스포머에 가까운 출력을 낼 수 있는지 묻는 설계야. 2025년의 RWKV-7 ‘Goose’는 그 목표에 꽤 가까이 갔어. Mamba보다 더 강하게 순환 구조 쪽에 베팅해.
학습할 때는 병렬, 추론할 때는 순차
RWKV는 어텐션을 순환식으로 계산할 수 있는 시간 혼합과 채널 혼합 연산으로 다시 표현해. 학습 중에는 어텐션처럼 병렬 계산하고, 추론할 때는 RNN처럼 상태를 한 단계씩 갱신할 수 있어.
스트리밍에 맞는 세 성질
- 일정한 메모리: 시퀀스 길이와 관계없이 고정 크기 상태로 처리해.
- 일정한 토큰당 비용: 자라나는 KV 캐시와 전체 어텐션 계산이 없어.
- 엣지와 스트리밍: 실시간 전사, 기기 내 조력자, 저전력 감시에 잘 맞아.
RWKV-7의 행렬 상태 감쇠
이전 세대가 벡터 단위 감쇠를 썼다면 v7은 전체 행렬의 동적 감쇠를 사용해 상태 갱신을 더 풍부하게 만들었어. 순환식 추론의 장점을 유지하면서 표현력을 키운 변화야.
현재의 규모
RWKV는 1B~14B의 중소형 규모에서 경쟁력이 있지만 70B를 넘는 프런티어 모델은 아직 초기 단계야. 커뮤니티는 작아도 활발하고 전용 추론 엔진 생태계를 만들고 있어.
Mamba와 다른 길
둘 다 제곱 비용의 어텐션을 피하지만 Mamba는 선택적 상태 공간에, RWKV는 어텐션을 순환 계산으로 바꾸는 데 무게를 둬. 하나로 수렴했다기보다 포스트 트랜스포머 설계 공간의 다른 구역을 탐색하는 중이야.