합성곱을 다시 볼 이유가 있어
어텐션 이전에는 합성곱이 시퀀스를 섞는 주역이었어. 수학적 성질과 커널이 잘 알려져 있고 세 가지 장점도 분명해. 이동 불변성 덕분에 무늬가 시퀀스 어디에 있든 같은 방식으로 찾고, FFT로 O(L log L)에 계산할 수 있으며, 같은 커널 가중치를 모든 위치에서 공유해.
문제는 표준 1D 합성곱의 수용 영역이 고정되어 있다는 거야. 크기 k인 커널은 k토큰짜리 창 안에서만 정보를 섞어. 장거리 의존성을 잡으려면 엄청나게 큰 커널이 필요하고, 그 가중치를 저장할 메모리도 길이에 비례해 늘어.
필터 자체를 저장하지 않으면 돼
Hyena의 통찰은 필터를 저장할 필요가 없다는 것이야. 작은 신경망이 위치를 받아 그 자리의 필터 가중치를 그때그때 만들어. 전체 시퀀스만큼 긴 필터도 한꺼번에 메모리에 존재하지 않아. 필터를 생성하는 FFN의 매개변수 수는 길이와 무관하게 고정돼.
위치 부호화에서도 볼 수 있는 공학적 발상이야. RoPE는 위치마다 임베딩 매개변수를 저장하는 대신 위치에 따라 정해지는 각도로 회전해. 암시적 필터도 마찬가지로 함수가 위치마다 합성곱 가중치를 만들어. 비용의 중심이 거대한 필터를 저장하는 데서 위치마다 작은 FFN을 호출하는 쪽으로 옮겨 가고, 현대 하드웨어에서는 이 맞바꿈이 훨씬 유리해.