이 분야는 역할 분담으로 수렴하고 있어
여기까지 왔다면 그림은 분명해. 모든 조건에서 깔끔하게 이기는 아키텍처는 없어. 순수 Transformer는 최전선 추론과 few-shot in-context learning에 강하고, 하이브리드는 제품의 긴 문맥 서비스에서 앞서. 순수 SSM은 메모리가 극도로 제한되거나 스트리밍이 중요한 작업에, Hyena는 유전체학에, RWKV는 기기 내 실행에 잘 맞아. 작은 품질 차이를 받아들일 수 있는 긴 문서 요약에는 Kimi Linear급 linear attention이 유리할 수 있고.
2026년의 구도는 Transformer와 대안 가운데 하나를 고르는 경기가 아니야. 각자 잘하는 분야가 다른 아키텍처 묶음을 운영하는 문제야. 이제 성숙한 질문은 “어떤 아키텍처 하나를 쓸까?”가 아니라 “서로 다른 작업을 어떤 아키텍처로 보낼까?”야.
MIRAS — 이론에서는 하나의 설계 공간으로 봐
MIRAS 틀(Google, 2025.12)은 이 퀘스트의 아키텍처를 연상 기억이라는 공통 원리의 변형으로 설명해. Transformer, SSM, RWKV, RetNet, Hyena, linear attention은 서로 다른 기억 연산자와 key-value 구조, 갱신 동역학을 고른 MIRAS 계열로 볼 수 있다는 거야.
이 관점은 학술적 분류에만 머물지 않아. 모든 시퀀스 모델이 연상 기억의 변형이라면 하이브리드는 층마다 다른 MIRAS 설정을 고르는 일로 설명할 수 있어. 어텐션과 순환식의 경계도 서로 단절된 구조가 아니라 하나의 설계 공간 안에서 고르는 기억 방식으로 바뀔 수 있지. 아직 초기 관점이지만 연구팀이 아키텍처를 설명하는 언어에 영향을 주기 시작했어.
2026–2027년에 지켜볼 흐름
- Kimi Linear의 확장: Moonshot의 결과가 최전선 규모에서도 재현되는지 봐. 그렇다면 Transformer 형태를 유지한 모델에서도 완전 어텐션 일부가 밀려날 수 있어.
- SSM과 하이브리드에 맞춘 하드웨어: Google Ironwood와 AWS Trainium3가 병렬 스캔과 SSM 작업에 맞춘 최적화를 시작했어. 하드웨어와 소프트웨어의 공동 설계가 이어지고 있어.
- Transformer를 하이브리드로 증류하는 경로: Cartesia의 Llamba-8B는 Llama 3.1 8B를 Mamba로 증류해 처리량을 12배 높였어. 강한 Transformer에서 시작해 더 효율적인 구조로 옮기는 길이 빠른 제품화 경로일 수 있어.
- 여러 거리 범위를 나눈 연산자: StripedHyena 2의 SE/MR/LI 무늬가 범용 하이브리드 안으로 흡수될 가능성이 있어.
버려야 할 오해는 “Transformer가 곧 쓸모없어진다”는 말이야. 현실에서는 Transformer가 여전히 주류고 몇 년은 더 그럴 가능성이 커. 대안은 제곱 증가가 감당되지 않는 구체적인 병목을 풀어. 이 흐름은 망치 하나를 버리고 다른 망치 하나를 드는 일이 아니라 도구 상자를 넓히는 일이야.