여러 곳에서 어중간한 것보다 한곳에서 탁월한 게 나아
Hyena가 남기는 더 넓은 교훈은 여러 영역에서 평범한 것보다 특정 영역에서 탁월한 게 더 가치 있을 수 있다는 것이야. Hyena는 다음 Transformer가 되지 못했고 Mamba와 하이브리드 계보가 대안 아키텍처의 관심을 대부분 가져갔어. 그래도 Evo 2를 구동한다는 한 번의 큰 승리가 또 하나의 중간급 범용 LLM보다 더 큰 영향을 낼 수 있어.
아키텍처 자체는 범용 언어에 다시 도전하기보다 긴 문맥 생물학과 과학 모델링에 계속 투자하는 편이 맞아. 평가하는 개발자도 질문을 고쳐야 해. 최고의 LLM 아키텍처인지 묻지 말고, 내 데이터의 모양에 가장 잘 맞는지 물어.
여러 연산자를 쓰는 구성은 더 퍼질 수 있어
StripedHyena 2의 SE·MR·LI 접근은 Hyena 밖에서도 볼 가치가 있어. 한 연산자에게 모든 시간 규모를 강요하지 않고 범위마다 전문가를 두는 설계야. 중간 범위에는 SSM, 검색에는 어텐션, 아주 긴 범위에는 암시적 합성곱을 쓰는 2027년 아키텍처도 충분히 그럴듯해.
Geometric Hyena는 1차원 밖으로 나갔어
Geometric Hyena(ICML 2025)는 암시적 합성곱을 3차원 분자 모델링으로 넓혔어. 1차원 위치 대신 임의의 기하 좌표에서 필터를 만들어 1차원이 아닌 구조화 데이터에도 적용하지. 이제 막 성숙하기 시작한 물리 지식 기반 ML의 연구 방향을 열었어.
결국 한 줄로 세우는 경쟁이 아니야
Transformer 이후의 판도는 언어 모델링의 우위 하나만 겨루는 경기가 아니야. 유전체학처럼 어텐션의 제곱 비용 때문에 불가능하던 작업에서는 대안 아키텍처가 경쟁자를 이기는 데서 그치지 않고, 원래 존재하지 못했을 응용을 열어. 2026년의 Hyena는 시퀀스 길이가 수백만으로 가고 데이터가 자연어보다 더 강한 구조를 가질 때 꺼내는 아키텍처야.