근사하지 말고 덜 봐
Softmax를 근사하기 어렵다면 정확한 softmax는 그대로 두고 더 적은 토큰에만 어텐션을 주면 돼. 초기의 대표적인 성공 사례는 Longformer(Beltagy et al., 2020)와 BigBird야. 둘 다 국소 sliding window와 전역 토큰을 조합해. 각 토큰은 창 안의 w개 이웃을 보고, 따로 지정한 소수의 전역 토큰은 어디든 보며 다른 토큰도 그들을 볼 수 있어. BigBird는 여기에 무작위 연결도 추가해.
비용은 O(n·w)이고 w는 창의 크기야. w를 고정하면 시퀀스 길이에 따라 선형으로 늘어나. 관련 정보는 대부분 가까이에 있고 드문 장거리 의존성은 전역 토큰이 처리한다는 가정이 깔려 있어. 문서에는 잘 맞지만 임의의 장거리 의존성이 중요한 작업에서는 정보를 잃을 수 있어.
제품에 들어간 sliding window: Mistral과 Griffin
실제로 널리 쓰인 형태는 sliding-window attention이야. Mistral 7B(창 4096), Mistral Large, Google의 Griffin 계열이 사용해. 각 층은 최근 토큰 창만 보지만 층을 쌓은 구조 덕분에 의미 정보는 창 너머로 전달될 수 있어. 한 층의 출력이 다음 층의 창으로 들어가기 때문이야.
Mistral은 4096 sliding window를 쓰면서 모델을 더 긴 문맥 길이로 학습해 이 아이디어를 제품화했어. Mistral 모델이 긴 문맥에서 매개변수 수 이상의 성능을 보인 큰 이유 가운데 하나야. Griffin(Google, 2024)은 sliding-window attention과 순환 linear RNN 구성 요소를 결합했어. 비슷한 규모의 Gemma가 약 2K tok/s를 낼 때 6K tok/s를 기록한 하이브리드야.
학습되는 희소성 — NSA와 MoBA
2025년 세대의 희소 어텐션은 더 흥미로워졌어. ACL 2025 논문인 NSA(Native Sparse Attention)와 MoBA(Mixture of Block Attention)는 모두 학습된 희소 무늬를 사용해. 모델이 query마다 볼 가치가 있는 토큰을 결정하고, 하드웨어 효율을 위해 희소성 제약을 커널 안에 넣어 둬.
학습된 희소성은 고정된 희소성보다 완전 어텐션의 품질에 훨씬 가깝게 수렴해. 다만 커널이 sliding window보다 복잡하고 무늬를 디버깅하기 어려울 수 있어. 그래도 Moonshot의 Kimi 계열 같은 초기 제품 결과는 충분히 강해. NSA식 희소성이 2027년쯤 희소 어텐션의 기본형으로 자리 잡을 가능성도 보여.