이미 제품에서 돌아가고 있어
Mamba 계열 아키텍처는 이제 여러 주요 연구소의 제품에 들어갔어.
AI21 Jamba 1.5는 문맥 256K를 지원하고 AWS Bedrock, Azure, GCP에서 쓸 수 있어. 주요 클라우드 장터에 들어간 첫 Mamba 계열 모델이지. 1.5 출시는 하이브리드 Mamba가 연구 단계를 벗어나 기업이 실제로 구매하는 제품이 된 순간이었어.
NVIDIA Nemotron-H 8B·56B·47B는 어텐션의 92%를 Mamba-2로 바꿨어. 문맥 65K에서는 Llama-3.1 70B보다 약 3배 빠르고, 56B 모델은 H100 6,144개에서 20T 토큰으로 FP8 사전 학습을 했어. 어떤 기준으로 봐도 제품 규모야.
IBM Granite 4.0은 Mamba와 어텐션을 9:1로 섞어. 비슷한 순수 Transformer보다 RAM을 70% 넘게 줄였고, IBM의 기업 고객은 품질을 유지하면서 서비스에 필요한 자원을 줄일 수 있게 됐어.
TII Falcon Mamba 7B는 순수 SSM인데도 표준 벤치마크에서 Llama-3.1 8B를 이겼어. 하이브리드가 아니라는 점이 중요해. 선택성만으로도 7B 규모에서는 상당한 수준까지 갈 수 있다는 증거니까.
Cartesia Llamba-8B는 교사 모델인 Llama 3.1 8B보다 처리량이 12배 높아. Transformer를 Mamba 학생 모델로 증류해서 얻은 결과야. Mamba를 처음부터 새로 학습하기보다 강한 기존 Transformer를 변환하는 길이 점점 중요해지고 있어.
그래도 한계는 사라지지 않아
제품에서 검증됐다고 구조적인 한계까지 사라지는 건 아니야. Mamba 계열에는 여전히 이런 약점이 있어.
- Five-shot MMLU 격차 — 순수 SSM은 few-shot in-context learning에서 눈에 띄게 뒤져. 하이브리드는 격차를 대부분 좁히지만 순수 SSM은 그러지 못해.
- 비선형 합성곱의 비대칭 편향 — selective scan이 정보를 쌓는 방식 때문에 시퀀스 앞쪽 토큰에 조금 치우쳐.
- 연상 회상 실패 — 앞 트랙에서 본 구조적 한계야.
- 좁은 학습률 구간 — 제품 팀은 Transformer 조리법보다 하이퍼파라미터 탐색에 더 많은 비용을 써야 해.
- 도구의 격차 — 빠르게 좋아지고 있지만 2026년에도 Transformer보다 분명히 뒤져.
알맞은 작업이라면 어느 것도 치명적인 결격 사유는 아니야. 다만 작업 특성이 Mamba의 강점을 특별히 보상하지 않는다면 Transformer나 Transformer 비중이 큰 하이브리드를 기본값으로 둘 이유는 충분해.