StripedHyena-7B가 처음으로 경쟁력 있는 LLM이었어
StripedHyena-7B(Together AI, 2023.12)는 표준 벤치마크에서 Llama-2 7B와 Mistral 7B에 견준 첫 대안 아키텍처야. 답은 하이브리드였어. 모델 대부분에는 Hyena 층을 쓰고 정확한 회상이 필요한 곳에만 RoPE를 쓰는 표준 어텐션 층을 조금 남겼지. SSM 계열에서 나타난 무늬와 같아.
문맥 128K에서 학습도 Transformer 기준 모델보다 50% 넘게 빨랐어. 논문 속 숫자로 끝나지도 않아. StripedHyena 코드베이스가 공개되어 있고 속도 향상을 재현할 수 있어.
StripedHyena 2는 범위마다 연산자를 나눴어
StripedHyena 2(2025.2, arXiv:2503.01868)는 서로 다른 시퀀스 범위에 특화된 세 종류의 연산자를 넣었어. Hyena-SE는 짧은 범위, Hyena-MR는 중간 범위를 맡아. Hyena-LI는 긴 암시적 합성곱으로 깊은 범위를 처리하지. 층이 잡아야 할 의존성의 규모에 따라 연산자를 고르는 거야.
이 다중 규모 설계는 Hyena 밖에서도 이어질 만해. 하나의 연산자에게 모든 범위를 강요하지 않고, 잘하는 범위를 따로 맡기는 구성 방식이지.
결정적인 성공 사례는 Evo 2야
가장 영향력 있는 Hyena 배포는 챗봇이 아니야. Evo 2는 생존 가능한 미토콘드리아 유전체를 만든 문맥 1M, 매개변수 40B의 유전체 모델이고 StripedHyena 2가 구동해. Arc Institute, Stanford, Together AI가 함께 만들었어.
유전체학은 Hyena의 특성과 정확히 맞아. DNA 시퀀스는 수십억 염기까지 길고 자연어보다 규칙적이며 국소적인 무늬가 많아. 전체 시퀀스의 통계적 무늬를 잡는 일이 특정 토큰을 정확히 회상하는 것보다 중요하고. 문맥 1M인 Transformer는 특수 기반 시설 없이는 사실상 불가능하지만 Hyena는 처음부터 그 길이를 처리해.