핵심 제약은 데이터와 무관한 감쇠야
토큰 n의 출력을 만들 때 토큰 m이 받는 retention 가중치는 γ^(n-m)이야. 토큰 내용은 보지 않아. 가중치는 오직 거리로 정해지고 오래된 토큰은 head마다 고정된 속도로 흐려져.
표준 어텐션은 반대야. Q_n과 K_m의 내적이 내용에 따라 달라지는 가중치를 정해. 멀리 떨어져 있어도 내용이 중요하면 높은 가중치를 주도록 배울 수 있어.
O(1) 상태와 표현력을 맞바꿔
RetNet이 O(1) 추론 상태를 얻는 건 감쇠가 데이터와 무관하기 때문이야. γ가 고정되어 있으니 순환식을 합성곱으로 보는 관점이 성립하지. 동시에 표현력에는 한계가 생겨. 특정 과거 토큰의 내용이 중요하니 더 강하게 보라고 선택할 수 없거든. 중요도는 거리만 따라가.
최근성이 관련성을 잘 대신하는 작업에서는 괜찮아. 자연어 모델링의 많은 구간, 특히 요약형 작업이 그래. 반대로 멀리 있는 특정 순간을 골라내야 하는 회상 중심 작업에서는 부족해. 순수 SSM이 약한 문제와 같은 부류야.
자동으로 조금씩 잊는다고 생각해
retention은 자동 지수 망각이야. 모델이 무엇을 잊을지 고르지 못하고 과거가 정해진 일정에 따라 흐려져. 표준 어텐션은 학습된 선택적 집중이야. query마다 거리에 상관없이 어디를 볼지 고를 수 있어. 둘은 회상 능력과 비용을 맞바꾸는 축에서 서로 다른 지점을 택해.
이렇게 보면 Mamba의 선택성은 자연스러운 다음 수였어. O(1) 추론 상태를 유지하면서 토큰마다 감쇠를 바꿀 수 있게 했거든. RetNet에 없던 조각을 채웠고, Mamba가 제품에서 더 큰 호응을 얻은 이유도 여기에 있어.