새 아키텍처 논문에 속지 않는 네 가지 질문
Transformer 이후의 논문에는 재현되지 않는 인상적인 숫자가 넘쳐나. 믿을 만한 주장과 논문처럼 포장된 과장을 가르려면 네 가지를 확인해.
범위: 이 아키텍처가 특정 분야에서만 Transformer를 이겼어, 아니면 전반적으로 이겼어? “7B 규모의 긴 문맥 요약에서 이겼다”는 구체적이고 유용한 주장이야. 조건 없이 “Transformer를 이겼다”고만 하면 유리한 분야를 숨겼을 가능성이 커.
기준 모델: 비교 대상이 FlashAttention-3, GQA, 현대적인 학습 조리법을 적용한 Transformer야, 아니면 아무도 제품에 쓰지 않을 단순한 구현이야? “대안이 Transformer를 이겼다”는 결과 가운데 상당수는 제품 팀이 실제로 쓰는 최적화를 기준 모델에 넣으면 사라져.
성숙도: 하드웨어와 소프트웨어 스택이 제품에 쓸 만큼 성숙했어, 아니면 특정 CUDA 버전과 맞춤 커널, 석 달짜리 연동 작업이 필요한 논문 코드야? 아키텍처의 가능성과 배포 준비도는 서로 다른 축이야.
재현성: 학습 조리법이 공개되어 재현할 수 있어? 제3자가 대표 결과를 다시 얻었어? 발표됐지만 재현되지 않은 결과는 흔하고 보이는 것보다 가치가 작아.
버려야 할 두 가지 오해
오해: “Mamba가 모든 곳에서 어텐션을 교체한다.” 현실에서 순수 Mamba는 in-context learning과 회상에 약해. Jamba, Nemotron-H, Granite 4.0처럼 성공적으로 배포된 Mamba 계열은 모두 어텐션 층을 남겼어. 하이브리드가 실용적인 경로야.
오해: “효율형 어텐션과 비어텐션 모델은 같은 종류다.” 둘은 근본적으로 달라. FlashAttention이나 희소 어텐션은 어텐션 장치를 보존한 채 구현이나 연결 범위를 최적화해. SSM과 RWKV는 어텐션 자체를 다른 연산으로 바꿔. 품질과 효율을 맞바꾸는 방식이 다르니 한데 묶으면 안 돼.
가장 중요한 습관 하나
O(n)과 O(n²)의 차이가 상수 계수와 하드웨어 최적화 때문에 실제 속도 차이로 바로 이어지지는 않아. 논문의 숫자가 아니라 실제 작업으로 늘 벤치마크해. 손으로 다듬은 합성 시험에서 문맥 1M에 5배 빠르더라도, 직접 쓰는 서비스의 P95 입력이 4K이고 쓰는 하드웨어에 커널이 없다면 아무 도움도 되지 않아.