“둘 다”를 택하는 산수
순수 Transformer는 정확한 회상을 지키는 대신 비용이 제곱으로 늘어. 순수 SSM은 비용을 선형으로 낮추지만 정보를 압축하는 과정에서 일부를 잃어. 둘의 장점을 함께 얻을 수 있을까? 업계가 수렴한 경험적 답은 전략적으로 섞으면 가능하다는 거야. 스택의 80–90%는 SSM 또는 RWKV 계열 층으로 채우고, 정확한 회상이 필요한 깊이에만 드문드문 어텐션 층을 배치해.
간단한 산수로 작동 원리를 알 수 있어. 층의 90%가 O(n)이고 10%가 O(n²)이면 전체의 점근적 비용은 여전히 O(n²)이지만 상수 계수가 10분의 1로 줄어. 어텐션의 제곱 비용이 가장 크게 작용하는 긴 문맥에서는 실제 비용을 거의 한 자릿수 배만큼 줄일 수 있어. 그러면서 순수 SSM이 잃는 회상 능력은 지켜 내지.
어텐션 층은 몇 개면 충분할까?
실험에서 반복해서 나온 답은 SSM 7–9개 층마다 어텐션 1개 층 정도야. NVIDIA의 Mamba-2-Hybrid 연구에서는 총 28개 층 가운데 어텐션 층 4개만 넣어도 in-context learning 능력이 크게 회복됐어. 어텐션이 이 비율보다 적으면 ICL이 무너지고, 훨씬 많으면 효율을 대부분 포기하게 돼. 독립적인 여러 팀이 1:7–1:9를 안정적인 경험적 최적점으로 찾았어.
이런 경험적 수렴은 진지하게 볼 만해. 서로 교류하지 않던 AI21, NVIDIA, IBM, Zyphra가 비슷한 어텐션:SSM 비율에 독립적으로 도달했거든. 이 비율이 제품 규모에서 회상과 효율 사이의 실제 맞바꿈을 반영한다는 강한 신호야.
어느 깊이에 둘 것인가
어텐션 층은 개수만큼이나 위치가 중요해. 제품용 하이브리드 대부분은 모델이 더 높은 수준의 정보를 통합하는 중간부터 후반 깊이에 어텐션 층을 배치해. 주로 토큰 수준 처리를 맡는 초기 층과 출력 투영에 가까운 마지막 층은 순수 SSM으로도 괜찮은 경향이 있어. 회상이 가장 중요한 중간 층에서 어텐션이 제 몫을 하는 거야.
이건 수학적 정리가 아니라 경험에서 얻은 법칙이야. 제품마다 어텐션을 두는 위치가 조금씩 달라. 처음부터 하이브리드를 만든다면 Jamba, Nemotron-H, Granite 4.0의 깊이별 분포를 살펴봐. 비슷한 곳에 모이지만 완전히 일치하지는 않는다는 걸 볼 수 있을 거야.