Retention은 여러 분야로 퍼졌어
RetNet은 최전선 LLM으로 배포되지는 않았지만 2024년부터 2025년까지 놀랄 만큼 폭넓은 분야별 응용을 낳았어. 처음에는 예상하지 못한 곳에서 retention 기본 연산이 쓸모를 드러냈지.
- 비전: RMT, RetViT, SegRet 같은 retention 기반 비전 Transformer가 어텐션 모델과 경쟁해.
- 오디오: RetNet-EEND가 종단 간 화자 분리에 쓰이고 일부 음악 생성 작업에도 들어가.
- 과학 계산: 입자 물리학의 JetRetNet, EEG 해독, 유전체학의 haplotype 조립이 있어.
- 시계열: LeRet을 비롯한 retention 기반 예측 모델이 나왔어.
여러 분야의 retention 응용을 묶은 첫 종설은 2025년 6월에 나왔어(arXiv:2506.06708). 이 폭넓은 쓰임새는 지수 감쇠 retention이 언어뿐 아니라 시간 구조를 가진 신호 전반에 유용한 귀납 편향이라는 증거야.
그런데 최전선 업체는 왜 쓰지 않았을까?
범위가 이렇게 넓어도 주요 최전선 LLM 업체는 RetNet 기반 대표 모델을 내놓지 않았어. Anthropic, OpenAI, Google, Meta, Mistral 모두 마찬가지야.
가장 솔직한 답은 등장 시점이 늦었다는 거야. RetNet의 발상이 성숙한 2024년에는 업계가 이미 Mamba식 선택성으로 움직이고 있었어. Mamba의 입력 의존 게이트는 retention의 고정 감쇠를 포함하는 더 넓은 형태야. γ를 상수로 두면 RetNet과 같은 꼴을 되찾을 수 있지. Mamba 쪽에는 GPU 친화적인 커널도 더 일찍 준비됐어. RetNet은 비슷한 일을 더 잘하고 구현도 앞섰던 가까운 계열에 제품 경쟁에서 밀렸어.
맞는 분야에서는 살아남았어
RetNet이 성공한 곳에는 공통된 무늬가 있어. 데이터의 시간 구조를 잘 이해하고 있고, 정확한 회상이 핵심이 아닌 작업이야. 비전에서는 공간 구조가 시간을 대신하고, 오디오 신호는 실제로 흐려지며, 과학 데이터에는 알려진 잡음 모형이 있어. 범용 언어 모델링에서는 경쟁에 밀렸지만 분야별 작업에서는 자기 자리를 찾았어.