마침내 하드웨어가 받쳐 주기 시작했어
딥러닝 발상으로서 SSM은 새롭지 않아. 2010년대에도 여러 번 시도됐지만 널리 쓰이지 못했지. 달라진 것은 하드웨어야. 최신 GPU는 막대한 행렬 곱셈 처리량과 HBM·SRAM으로 이루어진 빠른 메모리 계층을 갖췄어. 학습할 때는 FFT 합성곱, 추론할 때는 순환식을 쓰는 이중 표현은 알맞은 커널만 있으면 이 하드웨어에 잘 맞아. S4는 SSM을 큰 규모에서 실용화한 전환점이었어.
합성곱으로 볼 수 있는 까닭은 선형 순환식 h_t = Ā·h_{t-1} + B̄·x_t를 하나의 전체 합성곱 커널 K = (CB, CAB, CA²B, ..., CA^(n-1)B)로 펼칠 수 있기 때문이야. K를 FFT로 입력에 적용하면 완전히 병렬인 O(n log n) 학습이 가능해. 추론할 때는 저렴하고 순차적이며 메모리를 일정하게 쓰는 순환 표현을 사용하지. 매개변수는 같고 실행 방식만 두 가지인 셈이야.
제품 배포 사례가 가능성을 증명해
2024년부터 2026년까지 이어진 제품 배포 물결을 보면 “SSM은 연구 단계”라는 생각을 “SSM도 제품에 쓸 수 있다”로 바꿔야 해. IBM Granite 4.0은 제품용 공개 가중치 모델에 Mamba와 어텐션을 9:1로 섞어, 비교할 만한 순수 Transformer보다 RAM 사용량을 70% 이상 줄였어. NVIDIA Nemotron-H는 어텐션 층의 약 92%를 Mamba-2로 바꾼 8B와 56B 모델을 내놓았고, AI21 Jamba는 실효 문맥 256K로 AWS Bedrock, Azure, GCP에 배포됐어.
세 모델 모두 순수 SSM이 아니라 하이브리드야. SSM 층이 주된 계산을 맡고, 소수의 어텐션 층이 순수 SSM에는 부족한 회상 능력을 되찾아 줘. 이런 제품화 사례는 SSM 아키텍처가 대규모 제품 환경에서 실제 비용을 감당하며 돌아갈 수 있음을 증명해.