다섯 계열, 다섯 가지 맞바꿈
주요 대안 아키텍처는 다섯 계열로 나눠 볼 수 있어. 이 지도를 먼저 익혀 두면 나머지 퀘스트가 낯선 약어의 행진이 아니라, 규모가 작고 파악 가능한 생태계를 둘러보는 과정으로 보일 거야.
State Space Models(SSM / Mamba 계열)는 지나온 정보를 크기가 고정된 hidden state에 압축해. Convolution이나 selective scan을 이용해 O(n) 학습과 O(1) 추론 메모리를 얻지. S4 → S4D → H3 → S6/Mamba → Mamba-2 → Mamba-3로 이어지는 각 단계는 앞선 구조의 한계를 하나씩 완화했어. 긴 문맥에서 높은 효율을 얻는 대신 전체 문맥 창에서 특정 정보를 정확히 찾아내는 능력은 약해져.
RWKV는 RNN의 실행 방식과 Transformer의 학습 방식을 섞은 구조야. Linear attention과 RNN을 결합해 병렬 학습과 recurrent 추론을 함께 얻어. R/W/K/V라는 매개변수 이름에도 이런 성격이 드러나지. 1.5B 모델이 Windows 기기에 탑재되면서 Transformer 이후의 다른 아키텍처보다 널리 배포됐어. 학습 편의성과 O(1) 추론을 얻는 대신, 약 28K 토큰을 넘어서면 정확한 장거리 회상이 약해지고 생태계도 아직 덜 성숙했어.
RetNet은 retention을 하나의 공통 연산으로 삼아. 고정된 지수 감쇠로 attention과 recurrence를 잇고, 같은 매개변수를 병렬·순환·청크 단위의 세 방식으로 실행해. 실제 제품 채택은 다른 계열보다 적지만 개념적인 영향은 컸어. Mamba-2의 State Space Duality, Google의 Hawk와 Griffin, Gated Linear Attention에 직접 씨앗을 제공했지.
Hyena와 합성곱 계열 대안은 작은 FFN이 암시적으로 만든 긴 합성곱 필터를 FFT로 O(L log L) 시간에 적용해. 챗봇이 아니라 유전체학에서 결정적인 쓰임새를 찾았어. 매개변수 40B와 문맥 1M을 갖춘 Evo 2가 대표 사례야. 아주 긴 시퀀스에서 큰 속도 이득을 얻는 대신, 회상 능력과 일반 자연어 작업의 품질을 내줘.
선형·효율형 어텐션 변형에는 Performer, Longformer, BigBird, Mistral식 sliding window, NSA, MoBA, Kimi Linear, MHLA가 있어. 어텐션의 기본 틀을 유지하면서 커널화, 희소성, 연산 재구성으로 비용을 낮춰. Transformer 생태계와의 호환성을 지키기 쉬운 대신, 작은 품질 손실을 큰 효율 이득과 맞바꾸는 경우가 많아.
실제 제품은 하이브리드로 모였어
2026년까지 제품에 성공적으로 들어간 대안은 대부분 하이브리드로 수렴했어. Jamba는 어텐션과 Mamba를 1:7로 섞고, Nemotron-H는 어텐션 층의 약 92%를 Mamba-2로 바꾸며, Granite 4.0은 Mamba와 어텐션을 9:1로 배치해. 순수 SSM이 놓치는 회상 능력을 소수의 어텐션 층으로 보완하면서 효율 이득은 대부분 챙기는 방식이야. 흐름을 한 문장으로 줄이면 이래. 어텐션을 완전히 교체하려 했지만 회상 손실을 확인했고, 결국 꼭 필요한 만큼만 어텐션을 남기는 하이브리드로 모였어.