RetNet이 남긴 것은 후손이야
RetNet의 가장 중요한 유산은 자체 배포가 아니라 그 틀에서 직접 자라난 후속 아키텍처야.
Mamba-2의 State Space Duality는 retention을 선행 연구로 명시해 인용해. SSD가 형식화한 SSM과 구조화된 어텐션의 이중성은 RetNet의 병렬·순환 등가성에서 처음 구체적인 모양을 얻었어.
Hawk와 Griffin(Google, 2024)은 retention을 일반화한 지수 감쇠 게이트를 가진 순환 연산자를 써. sliding-window attention을 섞은 Griffin은 Google이 제품화한 대안 아키텍처 가운데 하나야.
Gated Linear Attention(GLA)은 감쇠가 입력에 따라 달라지는 linear attention 계열이야. 제약을 푼 retention이라고 볼 수 있지. RetNet과 완전한 Mamba식 선택성 사이를 이어 줘.
오늘날에는 다음 연구를 가능하게 한 개념으로 읽어
RetNet 자체는 배포된 모델 계열보다 후속 연구를 가능하게 한 개념에 가까워. 핵심 발상이 후속 아키텍처에 흡수됐거든. 대안 아키텍처를 만드는 사람이라면 RetNet 모델을 직접 배포하지 않더라도 retention을 오늘의 판도를 만든 기초 연산으로 알아야 해.
직접 제품이 되지 않아도 성공할 수 있어
연구 기여의 가장 큰 가치가 배포된 모델이 아니라 씨앗인 경우가 있어. RetNet은 세 가지 실행 방식, 순환식과 어텐션의 이중성, 여러 시간 규모의 고정 감쇠가 가능하다는 걸 보여 줬고 분야 전체가 그 위에 쌓아 올렸어. 아키텍처의 성공은 얼마나 널리 배포됐는지만으로 재지 않아. 설계 공간을 생각하는 방식을 얼마나 바꿨는지도 봐야 해. 그 기준에서 RetNet은 크게 성공했어.