근본부터 다른 두 가지 기억 방식
어텐션과 SSM은 같은 연산을 다른 방식으로 구현한 구조가 아니야. 시퀀스의 기억을 다루는 발상 자체가 달라. 가장 간단히 말하면 어텐션은 데이터베이스고, SSM은 흐름의 요약본이야.
위치 i의 어텐션 층은 이전 모든 토큰의 value에 저마다 가중치를 매겨 직접 가져와. 완전한 n×n 어텐션 행렬이 데이터베이스 역할을 하는 셈이야. 각 칸이 토큰 두 개를 바로 잇기 때문에 모델은 원하는 과거 토큰에서 현재 위치로 정보를 보낼 수 있어. 반면 위치 i의 SSM이 볼 수 있는 건 현재 입력 x_i와 상태 h_i뿐이야. h_i에는 순환식을 거치고 살아남은 정보만 있고, 위치 j<i의 특정 토큰으로 되돌아가는 길은 없어.
강점
SSM은 자원 효율에서 앞서. 추론 메모리가 일정하고 계산량은 선형이며, 계속 커지는 KV 캐시도 없어. Transformer라면 OOM을 내는 길이의 시퀀스도 소비자용 하드웨어에서 처리할 수 있지. 오디오 스트리밍 추론, 시계열 예측, 세부 위치보다 전체 내용이 중요한 긴 글처럼 관련 정보를 상태에 충분히 담을 수 있는 작업에 아주 잘 맞아.
약점
SSM은 특정 과거 토큰을 정확히 찾아야 하는 작업에 약해. 긴 글을 보여 준 뒤 "두 번째 문단의 세 번째 숫자가 뭐였어?"라고 물으면 순수 SSM은 반복해서 실패해. 정보가 입력되기는 했지만 순환식의 역할은 색인이 아니라 요약이기 때문이야. 2025년 NeurIPS 논문 "Achilles' Heel of Mamba"는 이 한계를 엄밀히 보였어. 순수 SSM에는 Transformer에 없는 연상 회상 실패 방식이 있고, 데이터를 더 넣는 것만으로는 고칠 수 없는 구조적 문제라는 거야.
이것이 핵심 맞바꿈이야. 벤치마크 하나만 보고 SSM과 Transformer 가운데 무엇이 더 낫냐고 묻는 건 잘못된 질문이지. 대신 이렇게 물어야 해. 이 작업에서는 전체 문맥 창을 정확히 되짚는 능력이 더 중요할까, 낮은 비용으로 흐름을 계속 요약하는 능력이 더 중요할까?