독립적인 수렴
Jamba가 제품으로 나오자 여러 팀이 저마다 변형을 더한 하이브리드 아키텍처에 독립적으로 도달했어. 접근이 다양하다는 사실 자체가 신호야. 하나뿐인 “정답”은 없고 실제로 작동하는 그럴듯한 설계가 여럿 있다는 뜻이거든. 2026년에 중요하게 볼 모델들을 둘러보자.
Griffin / RecurrentGemma(Google, 2024)
Real-gated linear recurrent unit(RG-LRU)과 sliding-window attention을 결합했어. 비슷한 규모의 Gemma가 약 2K tok/s를 낼 때 약 6K tok/s를 기록했어. RecurrentGemma는 가중치를 공개했고 이 아키텍처는 Google이 제품화한 대안 가운데 하나야. 여기서 순환 구성 요소는 Mamba보다는 RWKV에 가까워.
Hymba(NVIDIA, 2024)
구조상 가장 새로운 하이브리드야. SSM 층과 어텐션 층을 번갈아 놓지 않고 같은 층 안에서 병렬로 실행해. 어텐션 head와 Mamba head가 동시에 계산한 뒤 출력에서 합쳐져. 캐시는 약 11.67배 감소해. 이 병렬 결합은 층의 순서를 나누지 않고도 매 층에서 두 연산의 이점을 얻는다는 점이 흥미로워.
Bamba(IBM, 2024)
29개 Mamba2 층과 3개 어텐션 층으로 이루어진 9B 모델이야. 비슷한 Transformer보다 처리량이 2.5배 높아. 공개 첫날부터 vLLM을 지원했다는 점도 중요해. 출시 때부터 서비스 기반 시설에 연동할 준비가 돼 있었다는 뜻이고, 채택에는 이런 세부 사항이 벤치마크 숫자보다 더 중요할 때도 많아.
Zamba2(Zyphra, 2024)
Mamba2 블록과 공유 어텐션 뼈대를 결합해 생성이 4배 빠르다고 보고했어. 어텐션 뼈대를 스택 전체가 공유하기 때문에 층을 단순히 번갈아 놓는 방식과는 다르게 회상과 효율의 균형을 잡아.
SAMBA
Mamba와 sliding-window attention을 같은 비중으로 사용해. 1:7이 아니라 1:1 비율로도 특정 구성에서 잘 작동한다는 반례라 흥미로워. 최적 비율이 설계 공간에 따라 달라진다는 걸 보여 줘. SAMBA의 sliding-window attention은 완전 어텐션보다 층 하나가 맡는 부담이 작기 때문일 수 있어.