둘은 사실 같은 연산이었어
Mamba-2(Dao & Gu, 2024.5, arXiv:2405.21060)는 아름다운 이론적 결과를 내놨어. 모든 SSM은 구조화된 준분리 행렬 곱으로 볼 수 있어. State Space Duality, 줄여서 SSD가 이 관계를 하나로 묶었지. SSM과 linear attention은 서로 다른 연산이 아니라 같은 연산 계열을 반대편에서 바라본 거야. 밑바탕의 행렬 구조에 어떤 제약을 거느냐가 다를 뿐, 본질은 같아.
수학적 우아함으로 끝나는 이야기도 아니야. SSD는 효율적인 시퀀스 모델을 설계하는 통합 조리법을 줘. 구조화된 행렬 계열을 고르면 SSM 관점과 linear attention 관점을 함께 얻는 셈이지. RetNet, Mamba, Hawk·Griffin, GLA 같은 Transformer 이후 아키텍처가 비슷한 성능으로 수렴한 이유도 설명돼. 출발점만 달랐을 뿐 모두 같은 수학적 공간 안에서 움직이고 있었어.
제약을 더했더니 계산은 쉬워졌어
Mamba-2는 A를 완전한 대각 행렬에서 head마다 하나의 스칼라에 단위 행렬을 곱한 꼴로 제한해. 표현력을 조금 내주는 대신 전체 계산이 행렬 곱에 잘 맞게 되지. NVIDIA tensor core가 가장 잘 가속하는 모양이야. 그 결과 Mamba-1보다 학습이 2–8배 빨라졌고, head마다 상태 크기를 N=16에서 N=64–256까지 키워도 비용이 비례해 늘지 않게 됐어. 더 큰 상태에 더 많은 정보를 담으니 압축 손실도 줄어.
큰 규모에서도 하이브리드가 이겼어
NVIDIA가 8B 규모에서 비교한 결과도 강해. 어텐션 층을 조금 섞은 Mamba-2-Hybrid가 표준 벤치마크 12개 모두에서 순수 Transformer를 이겼고, 평균 이득은 약 2.65점이었어. “경쟁할 만하다”거나 “비슷하다”는 수준이 아니라 큰 규모의 모든 작업에서 실제로 더 나았다는 뜻이야. 하이브리드 아키텍처를 지지하는 가장 또렷한 경험적 신호 가운데 하나야.
SSD 덕분에 하이브리드를 설명하기도 쉬워졌어. SSM 층과 어텐션 층이 같은 연산 계열이라면 둘을 섞는 건 구조적 타협이 아니야. 깊이마다 구조화된 행렬이라는 공통 공간에서 서로 다른 지점을 고르는 일이지. 2024년부터 2026년까지 하이브리드 모델이 폭발적으로 늘어난 데는 이 개념적 연결도 한몫했어.