최적화의 초점이 추론으로 옮겨 갔어
Mamba-3(2026.3, arXiv:2603.15569, ICLR 2026)는 Mamba 계보의 중요한 방향 전환이야. Mamba-1의 핵심은 선택성이었고 Mamba-2는 SSD로 학습을 빠르게 만들었어. Mamba-3가 노리는 것은 추론이야. 생성 지연 시간, 긴 문맥 처리량, 디코딩 중 하드웨어 활용률을 다뤄. 제품 배포가 성숙하면서 배포 비용이 학습 비용보다 더 빡빡한 제약이 됐고, Mamba-3는 그 문제에 답했어.
세 가지를 바꿨어
첫째는 exponential-trapezoidal discretization이야. 이전 Mamba는 가장 단순한 zero-order-hold 이산화를 썼어. 계산은 쉽지만 한 시점 안에서 입력이 어떻게 변했는지는 버리지. exponential-trapezoidal 방식은 시점의 양쪽 끝값을 함께 사용해 같은 연산 수로 더 풍부한 순환 동역학을 담아. 단계마다 조금 더 섬세한 변화를 가져갈 수 있어.
둘째는 RoPE를 이용한 complex-valued state야. hidden state를 복소수 공간에 나타내 차원을 짝짓고 RoPE 방식의 각도로 회전시키면, 상태가 크기뿐 아니라 위상 정보도 부호화할 수 있어. 긴 시퀀스에서 수와 위치를 일관되게 추적하는 능력이 좋아지지. 이런 상태 추적은 순수 SSM이 오래전부터 약했던 부분이야.
셋째는 MIMO 표현(Multiple-Input Multiple-Output)이야. 자기회귀 디코딩 중에는 GPU가 메모리 접근을 기다리느라 연산 장치를 놀리는 시간이 길어. MIMO는 매 단계 여러 입력에서 여러 출력을 계산하도록 SSM을 다시 짜서 쉬고 있던 연산 장치를 일하게 해. 실제 지연 시간은 비슷하게 유지하면서 남는 연산 능력을 더 높은 정확도로 바꾸는 방법이야.
숫자로 보면
1.5B 규모에서 Mamba-3 SISO는 논문이 시험한 모든 시퀀스 길이에서 가장 빨랐어. MIMO는 비슷한 속도를 유지하면서 정확도를 약 1.8점 더 얻었고. 이 숫자만으로 Transformer 시대가 끝나지는 않아. 다만 배포 비용을 따지는 2026년의 하이브리드 제품이 왜 Mamba-3를 고르는지는 충분히 설명해.