S4는 HiPPO로 SSM을 실용적인 모델로 바꿨어
S4(Gu, Goel, Ré, 2022)는 제어 이론의 흥미로운 발상에 머물던 SSM을 믿을 만한 딥러닝 아키텍처로 바꾼 돌파구야. 핵심은 HiPPO(High-order Polynomial Projection Operator) 초기화야. 입력의 과거를 다항식 기저에 압축하기에 수학적으로 알맞은 구조를 A 행렬에 부여하지. 덕분에 모델은 수천 시점 전의 정보를 폭발하거나 사라지게 하지 않고 기억할 수 있게 됐어.
S4는 선형 순환식을 합성곱으로 보는 방법도 정리했어. A가 고정되어 있으면 SSM을 전체 합성곱 커널 K = (CB, CAB, CA²B, CA³B, ...)로 펼칠 수 있어. 이 커널을 FFT로 적용하면 O(n log n) 시간에 학습하고 GPU에서 완전히 병렬로 처리할 수 있지. 하나의 모델을 추론할 때는 순환식으로, 학습할 때는 합성곱으로 실행하는 셈이야. S4는 Long Range Arena에서 앞선 성능을 내며 SSM이 곁다리 연구로 끝나지 않을 수 있음을 보여 줬어.
S4D와 H3 — 단순화와 게이트
S4D는 A를 대각 행렬로 제한해 S4를 단순화했어. 완전한 HiPPO 행렬은 복잡한 구조라 구현이 까다로웠지. 대각 제약은 표현력을 조금 내주는 대신 GPU에 훨씬 잘 맞는 구현을 얻었어. 앞으로도 반복해서 볼 공학의 무늬야. 수식을 단순화해 하드웨어 효율을 얻고, 품질은 더 큰 모델이나 다른 기법으로 되찾는 거지.
H3(Hungry Hungry Hippos, 2023)는 SSM 블록에 게이트를 더했어. LSTM과 GRU의 게이트에서 영감을 받은 곱셈 상호작용이야. H3부터 SSM은 언어 모델링, 특히 연상 회상형 작업에서 Transformer의 품질에 접근하기 시작했어. 하지만 S4, S4D, H3는 모두 여전히 Linear Time-Invariant였어.
LTI라는 천장
LTI에서는 A, B, C 행렬이 입력과 무관하게 고정돼. 현재 토큰이 무엇이든 모든 시점에 같은 A를 적용하지. A가 x에 의존하지 않아 전체 합성곱 커널을 만들 수 있지만, 그 장점이 곧 표현력의 단단한 천장이 돼. LTI SSM은 “이 토큰은 중요하니 더 기억하자”거나 “이 토큰은 군더더기니 흘려보내자”라고 결정할 수 없어. 모든 입력을 같은 시간 불변 필터로 처리하거든.
"Selective State Space"인 S6, 곧 Mamba는 B, C, Δ를 입력의 함수로 만들어 LTI를 깼어. 그 이야기는 다음 트랙에서 이어가. 여기서 본 계보가 선택성의 등장을 위한 토대를 놓았어.