SSM·하이브리드가 분명히 이기는 경우
다음 조건 가운데 하나라도 해당한다면 SSM·하이브리드 아키텍처를 추적하고 가능하면 채택할 가치가 있어.
- 제한된 하드웨어에서 128K–1M+ 토큰 문맥이 필요하다. 순수 Transformer가 24GB GPU에서 약 25K 토큰에 막힐 때 SSM은 220K 토큰 이상을 처리할 수 있어. 긴 문맥이 필요하고 서비스 예산이 빠듯하다면 대안이 분명히 매력적인 구간이야.
- 추론 처리량이 핵심 제약이다. 긴 문맥에서 3–8배 속도 향상은 실제로 관찰됐고 여러 공개 배포에서 일관돼. 품질보다 메모리 대역폭이나 처리량이 병목이라면 SSM·하이브리드가 추가 복잡성의 값을 해.
- 배포할 때 메모리 사용량이 중요하다. 토큰당 일정한 메모리만 쓰기 때문에 KV 캐시가 계속 자라는 Transformer로는 공격적인 캐싱 없이는 어려운 기기 내·임베디드·엣지 배포가 가능해져.
- 스트리밍 또는 실시간 추론에서는 문맥이 길어져도 준비 비용이 늘지 않는 고정 상태 아키텍처가 유리해.
순수 SSM이 아니라 하이브리드로 시작해
SSM 계열에 베팅한다면 가장 안전한 첫 수는 검증된 하이브리드 아키텍처야. Jamba 1.5 Mini, NVIDIA Nemotron-H 8B, IBM Granite 4.0, Bamba-9B가 있어. SSM의 효율 이득은 대부분 가져가면서 회상 중심 작업에서 Transformer와 비슷한 품질을 지킬 만큼 어텐션 층을 남겨 둬.
Falcon Mamba 7B나 Mamba-2.8B base 같은 순수 SSM은 흥미로운 연구 대상이지만 제품에는 위험이 더 커. 회상 한계가 낮고 미세 조정의 안정 범위가 더 좁으며 서비스 생태계도 덜 성숙해. 희소 어텐션 하이브리드조차 감당하기 어려운 메모리나 계산 제약이 있을 때 순수 SSM을 검토해.
2026년에 평가할 후보 목록
- Jamba 1.5 Mini(12B) — 접근하기 쉬운 입문 모델. 문맥 256K를 지원하고 주요 클라우드와 Hugging Face에서 공개 가중치로 제공돼.
- NVIDIA Nemotron-H 8B — 가중치 공개와 vLLM을 지원하고, 문맥 65K에서 Llama 3.1 70B보다 약 3배 빠르다고 보고됐어.
- IBM Bamba-9B — 공개 첫날부터 vLLM에 연동됐고 품질과 효율의 균형이 좋아.
- IBM Granite 4.0(여러 크기) — 제품용 모델로 9:1 비율을 쓰며 RAM을 약 70% 줄여.
- Cartesia Llamba-8B — Llama 3.1 8B에서 증류해 처리량을 12배 높였어. 증류 경로가 유용하다는 증거야.