Kimi Linear — 2025년의 중요한 결과
Kimi Linear(Moonshot AI, 2025.10)는 제품 규모에서 완전한 Multi-head Latent Attention(MLA)보다 전반적으로 낫다고 보고한 첫 linear attention 변형이야. 핵심 수치는 KV 캐시 75% 감소, 문맥 1M에서 디코딩 6배 가속, 표준 벤치마크에서 대등하거나 더 나은 품질이야. 이 아키텍처는 KDA(Key-Dependent Attention)를 사용해. Linear attention의 상태를 갱신하는 방식이 key에 따라 달라지니 그 안에 선택성을 넣은 셈이지.
이 결과가 독립적인 외부 평가에서도 유지된다면 linear attention이 효율을 지키면서 품질까지 완전 어텐션을 따라잡은 첫 사례가 돼. Performer가 긴 문맥에서 보인 품질 저하를 더 정교한 무작위 특징이 아니라 더 나은 상태 설계로 풀었을 가능성이 있어.
MHLA — 전체 문맥이 뭉개지는 문제를 고쳐
Linear attention 모델은 토큰을 많이 처리할수록 누적 상태가 지나치게 많은 정보를 평균 내서, 특정 토큰의 흔적이 흐려지는 전체 문맥 붕괴를 겪곤 해. MHLA(Multi-Head Linear Attention, 2026.1)는 토큰을 블록으로 나누고 더 넓은 문맥 구조를 보존하는 국소 KV 요약을 유지해 이 문제를 다뤄.
핵심 발상은 재사용될 가능성이 커. 모든 과거가 한꺼번에 섞여 문제가 생긴다면 블록 구조를 두어 어디서 섞고 어디서 국소성을 지킬지 명시하는 거야. Mamba의 MIMO 표현과 RetNet의 청크 단위 방식에도 같은 구조적 우려를 다른 방식으로 푼 흔적이 있어.
게이트 어텐션 — 작은 변화도 층마다 쌓여
Gated Attention(NeurIPS 2025 Best Paper)은 표준 어텐션 출력에 단순한 게이트를 추가하는 작은 변화만으로도 적은 비용에 측정 가능한 정확도 향상을 얻을 수 있음을 보여 줬어. 대안을 찾는 연구만큼이나 어텐션 자체를 다듬을 여지도 여전히 크다는 뜻이야.
Transformer 이후의 이야기에는 두 흐름이 함께 있어. 하나는 구조를 크게 바꾸는 대안이고, 다른 하나는 이미 강한 어텐션을 꾸준히 개선하는 흐름이야. 건강한 팀이라면 둘 다 지켜봐야 해.