Jamba 1.0 — 제품 규모로 나온 첫 Mamba 하이브리드
AI21 Labs의 Jamba(2024.3)는 제품 규모로 공개된 첫 Mamba 기반 하이브리드 모델이야. Mixture-of-Experts 구조로 전체 52B, 활성 12B 매개변수를 쓰고, 블록마다 Mamba 층 7개와 어텐션 층 1개를 배치해. 두 층마다 MoE가 들어가며 유효 문맥은 256K야. Apache 2.0 라이선스의 공개 가중치 모델로 나왔어.
Jamba가 중요한 건 당시 세계 최고의 모델이어서가 아니야. SSM-어텐션 하이브리드를 실제 제품으로 만들 수 있음을 증명했기 때문이지. Jamba 이전에는 하이브리드가 주로 연구 논문 속 구조였지만, 이후에는 기업이 구매하고 배포할 수 있는 제품 후보가 됐어.
Jamba 1.5 — 256K가 실제로 작동하는지 검증해
Jamba 1.5(2024.8)는 Large(94B/398B MoE)와 Mini(12B) 두 버전으로 나왔어. 대부분의 팀이 실제로 평가할 만한 건 Mini야. 매개변수 수가 감당할 만하고 문서가 잘 갖춰졌으며 상용 라이선스와 함께 공개 가중치를 제공하거든.
대표 결과는 문맥 256K에서의 RULER야. RULER는 모델이 긴 입력을 형식상 받아들이는지만 보지 않고, 선언한 문맥 창 전체의 정보를 실제로 사용하는지 시험하는 긴 문맥 벤치마크야. 출시 당시 Jamba 1.5는 RULER에서 유효 문맥 256K를 달성한 유일한 모델이었어. 많은 “긴 문맥” Transformer가 깊은 위치의 정보를 찾는 시험에서 무너진다는 점을 생각하면 의미 있는 결과야.
세 주요 클라우드에 들어갔어
Jamba 1.5는 AWS Bedrock, Azure AI Studio, Google Cloud Vertex에서 제공돼. 세 주요 대형 클라우드 업체에서 모두 배포할 수 있다는 건 기업 고객에게 중요한 신호야. 하이브리드는 AI21에게 흥미로운 연구 주제가 아니라 실제 상용 제품이 된 거지.
Jamba 설계 탐색에서 얻은 핵심 경험칙은 어텐션과 Mamba를 1:7로 섞는 비율이 가장 균형이 좋았다는 거야. 어텐션 비율을 더 높여도 품질은 크게 나아지지 않고 비용만 늘었고, 더 낮추면 회상이 약해지기 시작했어. 이 조합은 유효 크기가 비슷한 순수 Transformer보다 KV 캐시를 약 10배 줄였어.