쏟아지는 정보에서 신호를 골라내
Transformer 이후 분야에서는 한 개발자가 꼼꼼히 읽을 수 있는 양보다 많은 논문이 매달 쏟아져. 전부 읽으려는 건 좋은 전략이 아니야. 금세 지치고, 홍보가 가장 잘된 논문을 최고라고 착각하며, 최신 약어를 쫓다가 근본 원리를 놓치게 돼.
소수의 신뢰도 높은 자료를 꾸준히 보고 새 연구를 만날 때마다 앞 트랙의 네 질문을 적용해. 넓게 훑되 범위, 기준 모델, 성숙도, 재현성을 통과한 것만 깊이 읽는 거야.
신호가 강한 자료
- GitHub의 state-spaces/mamba(18K+ stars): 실제 지식이 이슈, pull request, 토론에 쌓여 있어. 블로그보다 실제 커밋을 더 많이 읽어.
- RWKV Foundation(rwkv.com): RWKV의 개발 계획과 버전을 추적하기 좋아.
- Hugging Face 블로그: 생태계 지원과 함께 실제로 출시되는 새 모델 아키텍처를 볼 수 있어.
- Latent Space 팟캐스트와 블로그: 아키텍처 연구자와 깊이 있는 인터뷰를 제공하고, 문제를 설명하는 틀이 논문보다 명확할 때가 많아.
- Papers With Code의 시퀀스 모델링 항목: 벤치마크로 추적되는 아키텍처 비교에 유용해.
- NeurIPS, ICML, ICLR의 아키텍처 트랙: 그해 큰 영향을 준 연구를 보려면 spotlight 논문을 우선 읽고 나머지는 대부분 건너뛰어도 돼.
특히 조심해서 읽을 주장
- 벤치마크 결과: FA3와 GQA를 적용한 Transformer와 비교했는지, 단순한 기준 모델과 비교했는지 확인해. “X가 Transformer를 이긴다”는 결과 상당수는 공정한 기준 앞에서 사라져.
- 규모 확장 주장: 아키텍처 비교 대부분은 10B 미만에서 이뤄져. 70B 이상에서는 다르게 행동할 수 있으니 “1B에서 된다”를 “70B에서도 된다”로 확대하지 마.
- 제품 주장: 논문 시연과 실제 제품 배포를 구분해. “배포할 수 있다”와 “대규모로 배포됐다”는 전혀 다른 말이야.
근본 원리는 빠르게 변하지 않아
아키텍처가 아무리 빨리 바뀌어도 회상과 압축 사이의 맞바꿈은 안정적으로 남아. 이 퀘스트의 모든 아키텍처는 그 축에서 서로 다른 지점을 택해. Transformer는 비용을 내고 회상을 극대화하고, 순수 SSM은 일부 회상을 내주며 효율을 높여. 하이브리드는 작은 효율 비용으로 쓸 만한 회상을 지키면서 두 장점을 함께 얻으려 해.
작업이 이 축에서 어디에 놓이는지 알면 최신 약어 스무 개를 외우는 것보다 오래가는 사고 모형을 갖게 돼. 아키텍처는 계속 바뀌어도 밑바닥의 맞바꿈은 남아. 근본 원리에 뿌리를 두고 새 연구는 그 원리를 시험하는 사례로 다뤄.