세상에서 가장 큰 post-Transformer 배포
Post-Transformer architecture 의 대부분 논의는 research-flavored. RWKV 는 frame 을 깨는 단일 사실 가져: RWKV v5 (Eagle) 가 on-device Copilot 위해 약 15 억 Windows 10 / 11 머신에 배포. orders of magnitude 로 세상에서 어떤 non-Transformer language-model architecture 의 가장 큰 production 배포, 그리고 alternative-architecture 공간 사람들 대부분이 모름.
RWKV 가 그 슬롯 이긴 이유: on-device serving 이 constant-memory 추론이 가장 중요한 워크로드. Windows 머신은 RAM 이 wildly vary — 어떤 건 4 GB, 어떤 건 64 GB. 자라는 KV-cache 가진 Transformer 는 메모리 budget 을 unpredictable 하게 만들어. RWKV 의 fixed-state RNN 형태가 Microsoft 한테 plan 가능한 flat memory profile 줌. architectural 결정이 deployability 가 driving.
알 가치 있는 performance 숫자
RWKV-G1 7.2B 가 consumer hardware 에서 batch 1 에 145+ tokens/s 달성 — 그리고 그 throughput 이 context length 무관 constant, 자라날 KV-cache 없으니까. Interactive on-device assistant 한테, 그 flat curve 가 product 전체.
커뮤니티와 ecosystem
RWKV 는 Linux Foundation AI & Data project (2024.2 부터 멤버), Vision-RWKV 가 ICLR 2025 Spotlight 채택, 약 30 개 언어로 RWKV port 존재 — C, Rust, Go, Java 다. 모델이 ONNX/GGML pipeline 통해 Android, iOS 에서 도. ecosystem 이 Transformer 대비 작지만 alternative architecture 치고 비정상적으로 broad 하고, edge / on-device 사용 사례로 heavily skew.
실용적 함의: 네트워크 round trip 없이 client-side 에서 돌아야 하는 뭔가 — desktop app 의 로컬 어시스턴트, 폰-사이드 summarizer, gaming companion — 만들고 있다면, RWKV 가 네 타겟에 이미 packaged 됐을 가능성 가장 큰 alternative architecture.