Transformer 이후 최대 규모의 배포는 이미 이루어졌어
Transformer 이후 아키텍처 이야기는 대개 연구 냄새가 짙어. RWKV는 사실 하나로 그 틀을 깨. RWKV v5 Eagle이 기기 내 Copilot을 위해 Windows 10·11 기기 약 15억 대에 배포됐어. 비Transformer 언어 모델 아키텍처 가운데 몇 자릿수나 큰 최대 규모의 제품 배포야. 그런데 대안 아키텍처를 다루는 사람들조차 이 사실을 모르는 경우가 많아.
RWKV가 그 자리를 차지한 이유는 작업 특성과 정확히 맞았기 때문이야. 기기 내 서비스에서는 일정한 메모리로 추론하는 능력이 특히 중요해. Windows 기기의 RAM은 4GB부터 64GB까지 제각각이야. 문맥과 함께 커지는 Transformer KV 캐시는 메모리 예산을 예측하기 어렵게 만들지. 고정 상태 RNN으로 실행되는 RWKV는 Microsoft가 계획할 수 있는 평평한 메모리 사용 곡선을 줬어. 배포 가능성이 아키텍처 선택을 이끈 사례야.
성능 수치도 제품에 잘 맞아
RWKV-G1 7.2B는 소비자용 하드웨어에서 배치 1 기준 초당 145토큰 이상을 냈어. 자라나는 KV 캐시가 없어서 문맥이 길어져도 처리량은 거의 일정해. 대화형 기기 내 도우미에서는 문맥이 길어져도 속도가 거의 그대로라는 점 자체가 제품 경쟁력이야.
작지만 넓은 생태계
RWKV는 2024년 2월부터 Linux Foundation AI & Data 프로젝트에 들어가 있어. Vision-RWKV는 ICLR 2025 Spotlight에 뽑혔고, C·Rust·Go·Java를 포함한 약 30개 언어로 이식됐어. ONNX와 GGML 파이프라인을 통해 Android와 iOS에서도 돌아가. 생태계는 Transformer보다 작지만 대안 아키텍처 가운데서는 유난히 넓고, 엣지와 기기 내 사용 사례에 강하게 기울어 있어.
네트워크 왕복 없이 사용자 기기에서 돌아야 하는 제품을 만든다면 RWKV부터 확인해 볼 만해. 데스크톱 앱의 로컬 도우미, 휴대전화 안의 요약기, 게임 동반자 같은 경우지. 목표 플랫폼에 이미 포장된 대안 아키텍처일 가능성이 가장 커.