아직 사라지지 않은 능력 격차
Transformer는 과거의 모든 토큰에 이후 어느 위치에서든 직접 접근할 수 있는 명시적 KV 캐시를 유지해. SSM은 과거를 고정 크기 상태로 압축하고, Hyena의 필터는 내용과 무관하며, RWKV의 상태는 감쇠해. RetNet의 감쇠도 head마다 고정되어 있어. 조회 시점까지 원본 토큰을 보존하는 건 Transformer뿐이야. 이 속성이 in-context learning을 실제로 안정되게 만들어.
2025년 NeurIPS spotlight 논문 "Achilles' Heel of Mamba"는 이 차이를 엄밀하게 보여 줘. 순수 SSM은 Transformer가 성공하는 복사와 회상 작업에서 구조적으로 실패했고, 데이터를 더 넣는 것만으로는 문제가 고쳐지지 않았어. Five-shot MMLU가 대표적인 실용 사례야. In-context learning은 few-shot 사례를 되짚어 무늬를 맞춰야 하지만 압축 상태는 그 조회를 흐리게 하므로 순수 SSM이 크게 뒤처져.
그래서 Transformer는 통째로 교체되지 않을 거야
이 회상 격차는 2026년의 제품용 최전선 모델이 여전히 Transformer 또는 의미 있는 어텐션 구성 요소를 둔 하이브리드인 이유를 이해하는 데 가장 중요한 사실이야. 여러 단계의 도구 사용, 관찰 결과를 누적하는 에이전트 작업 흐름, 멀리 떨어진 함수 서명을 지켜야 하는 코드 생성, 한 번에 10–100개 조각을 찾아 추론하는 RAG는 모두 정확한 토큰별 회상에 기대. Transformer는 이를 원래 구조로 해내지만 압축 상태 대안은 그렇지 못해.
어텐션을 훨씬 적게 쓰면서 이 능력을 대부분 되찾는 하이브리드는 만들 수 있어. 하지만 완전 대체형 아키텍처로는 아직 회복하지 못했어. 그래서 이 퀘스트에서 다룬 성공적인 제품 배포는 모두 Transformer, 어텐션 층이 있는 하이브리드, 또는 정확한 회상이 덜 중요한 특정 분야용 모델이야.
최전선 추론의 관점
복잡한 수학, 여러 단계의 증명, 정교한 도구 사용, 코드 전체를 건드리는 재구성 같은 최전선 추론 작업은 특히 회상 의존도가 높아. 모델은 수천 토큰에 걸쳐 수많은 구체적 사실과 중간 결과, 제약 정의를 일관되게 참조해야 해. 현대 AI에서 가장 어려운 작업이면서 Transformer의 장점이 가장 큰 곳이지. 이 격차를 제품 규모에서 제대로 해결하는 대안이 나오기 전에는 최전선이 Transformer 계열을 떠날 거라고 기대하지 마. 아직 그런 대안은 없어.