순수 대안보다 섞는 방식이 먼저 제품에 닿았어
순수 SSM과 순수 RWKV는 아직 틈새에 가까워. 2025~2026년의 영향력 있는 포스트 트랜스포머 설계는 어텐션 층 일부를 SSM이나 순환 층으로 바꾸는 하이브리드야. 어텐션의 강점이 필요한 자리는 남기고 효율 이득을 가져와.
효율 층 일곱에서 열, 어텐션 층 하나
NVIDIA, IBM, AI21, Mistral처럼 서로 다른 연구 그룹이 어텐션 층 하나당 효율 층을 대략 일곱에서 열 개 두는 비율에 모였어. 품질 손실을 작게 유지하면서 속도 향상의 대부분을 얻는 구간이 비슷하게 나타난 거야.
주목할 패밀리
- Jamba: Mamba와 트랜스포머를 섞고 52B MoE 변형까지 둔 초기 대형 하이브리드야.
- Nemotron-H: 8B와 56B 변형으로 비슷한 품질의 순수 트랜스포머보다 약 세 배 빠른 속도를 노려.
- IBM Granite 4.0: 긴 컨텍스트에서 메모리를 크게 줄이려는 하이브리드야.
- Falcon H1R: 일부 어텐션 층을 RWKV식 층으로 바꿨어.
가까운 일은 싼 층에 맡겨
많은 어텐션 헤드는 실제로 주변 토큰을 주로 보므로 더 싼 층이 비슷한 일을 할 수 있어. 그런 층을 SSM이나 순환 변형으로 바꾸고, 전체 범위 회상이 중요한 소수 층에는 글로벌 어텐션을 남겨. 도움 되는 기능은 유지하고 비싼 반복은 줄이는 비대칭 절충이야.
아직 남은 한계
- 초대형 프런티어: 대표 하이브리드는 수십B 규모로 조 단위 MoE보다 작아.
- 미세 조정 생태계: 도구 대부분이 Dense나 MoE 트랜스포머를 기준으로 만들어져 하이브리드 지원은 더 얇아.
발표가 하이브리드라면 보통 숨기지 않아
‘Mamba-Transformer 하이브리드’, ‘SSM-어텐션 하이브리드’처럼 구성과 비율을 명시하는 경우가 많아. 기술 문서에 이런 설명이 없다면 하이브리드라고 추측할 이유도 적어.