트랜스포머를 밀어내기 어려운 다섯 이유
1. 성숙한 생태계
vLLM, TensorRT-LLM, llama.cpp, MLX, SGLang 같은 서빙 도구가 어텐션 기반 트랜스포머에 맞춰져 있어. 다른 아키텍처로 옮기면 추론 최적화와 운영 도구를 다시 쌓아야 해.
2. 확장 법칙에 대한 확신
Chinchilla, Llama 3, DeepSeek 연구를 통해 파라미터와 학습 연산량의 절충을 오랫동안 측정해 왔어. 대안 아키텍처는 100B를 넘는 규모의 데이터가 적어서 값비싼 학습을 걸기 어렵지.
3. 벤치마크의 편향
많은 평가는 긴 글에서 사실을 정확히 꺼내고 여러 단계를 따지는 과제를 중심으로 만들어졌어. 이는 정확한 회상에 강한 어텐션에 유리하고 고정 크기 상태를 쓰는 순환 모델에는 불리할 수 있어.
4. 산업의 위험 허용도
학습 한 번에 5천만 달러($50M)가 든다면 팀은 유망하지만 덜 검증된 구조보다 이미 입증된 구조를 고르기 쉬워. 첫 주자가 치르는 대가는 모델뿐 아니라 학습 파이프라인 전체에 생겨.
5. 긴 추론이 어텐션의 장점을 다시 키워
확장 사고는 긴 생각 토큰 사이에서 앞의 내용을 정확히 회상해야 해. 과거를 제한된 상태로 압축하는 SSM과 순환 구조에는 까다로운 조건이야. 추론 모델의 유행이 오히려 어텐션의 가치를 높인 셈이지.
정보에 빠지지 않고 흐름을 따라가
- 1차 자료: 모델 카드, 시스템 카드, 기술 보고서를 먼저 읽어.
- 서베이 논문: 흩어진 논문을 정리한 연간·분기별 개요를 골라 읽어.
- 선별 뉴스레터: Ahead of AI, Interconnects, Hugging Face 블로그처럼 출처를 추려 주는 자료를 써.
- 커뮤니티: r/LocalLLaMA에서 오픈 가중치 실험을 보고 Papers with Code에서 코드가 연결된 논문을 찾아.
세 질문 필터
아키텍처 주장마다 물어. 백본, 학습, 추론 가운데 무엇이 바뀌었나? 동료 검토 논문이나 기술 보고서가 있나? 다른 팀이 공개적으로 재현할 수 있나? 셋 가운데 두 개도 답하지 못하면 일단 보류해.
소음은 기본적으로 의심해
X의 과장 스레드, 유튜브 낚시 제목, 제품을 낸 연구소의 마케팅 글은 알리기 위해 쓰였지 검증하기 위해 쓰인 자료가 아니야. 출발점으로만 보고 1차 기술 자료로 확인해.