🌐

어텐션 너머 퀘스트

최근 수정: 2026-07-29

Transformer 대안을 고르는 현장 안내서 — Mamba, RWKV, RetNet, Hyena, 하이브리드

Transformer는 2017년부터 2025년까지 한 시대를 휩쓸었어. 하지만 2026년의 최전선은 한 가지 구조로 정리되지 않아. SSM 블록과 순환 게이트, 암시적 합성곱, 어텐션을 조금 섞은 하이브리드 스택이 나란히 경쟁하고 있지. 이 퀘스트에서는 각 갈래의 장단점과 실제 제품 배포 사례를 솔직하게 살펴보고, 작업 특성에 맞는 아키텍처를 고르는 실전 기준을 세워. 벤치마크 순위만 좇지 않고 무엇을 왜 써야 하는지 근거를 들어 설명하는 게 목표야.

10 tracks · 50 lessons · ~11h · difficulty: intermediate-to-advanced

Level 0관찰자

0 XP0/50 lessons0/14 achievements

0/100 XP to next level100 XP to go0% complete

어텐션 너머 퀘스트는 Transformer 이후에 등장한 주요 아키텍처를 10개 트랙으로 둘러보는 코스야. 먼저 O(n²) 어텐션이 왜 끝내 벽에 부딪히는지 살펴봐. State Space Model이 과거 정보를 고정 크기 상태에 압축하는 흐름(S4 → Mamba → Mamba-3), RWKV가 Transformer처럼 학습하고 RNN처럼 추론하는 방식, RetNet의 retention이 SSD라는 틀에 끼친 영향도 짚어. Hyena의 암시적 합성곱이 챗봇이 아닌 유전체학에서 결정적인 쓰임새를 찾은 까닭, Kimi Linear 같은 선형·효율형 어텐션이 완전 어텐션을 앞서는 구간, 2026년 실제 제품들이 모두 하이브리드(Jamba, Nemotron-H, Granite 4.0)로 향한 이유도 다뤄. 마지막에는 Transformer가 여전히 우세한 까닭을 정면으로 살펴봐. 명시적인 KV 회상 능력, 75만 개에 이르는 체크포인트 생태계, GPU에 잘 맞는 GEMM 연산이 든든하게 버티고 있거든. 이어서 Transformer + FlashAttention-3 + GQA를 기본값으로 둘 때와 하이브리드로 넘어갈 때, SSM/Mamba에 베팅할 때를 가르는 실전 의사결정 기준을 세워. 아키텍처 논문이 불공정한 기준 모델을 내세웠는지 가려내는 법도 배워. 퀘스트를 마치면 "이 작업에는 어떤 아키텍처를 써야 해?"라는 질문에 숫자와 근거로 답할 수 있어.

Tracks

01❓왜 어텐션 너머를 봐야 할까?
0/5 lessons
Transformer의 강점과 한계, 그리고 진짜 대안의 조건
Transformer가 지난 10년을 휩쓴 건 self-attention이 꼭 필요한 문제를 제대로 풀어줬기 때문이야. 그렇다고 계산량의 법칙까지 없앤 건 아니지. 이 트랙에서는 Transformer가 정확히 무엇을 잘하는지부터 정리해. O(n²)으로 커지는 어텐션 행렬과 KV 캐시가 실전에서 언제 한계에 닿는지, 그 문제를 풀려고 어떤 아키텍처 계열이 등장했는지도 살펴봐. 병목을 정확히 짚고 나면 “Transformer는 끝났나?” 같은 소모적인 논쟁에서 벗어날 수 있어. 대신 어떤 작업이 제곱 비용을 치르고, 어떤 작업은 그렇지 않은지 물을 수 있지.
Lesson list (5)
퀴즈 · 3 문제→
02📡State Space Models — 거대한 대안 계열
0/5 lessons
고전 제어 이론부터 S4, S4D, H3, 그리고 Mamba가 깬 LTI의 천장까지
State Space Model이 Transformer 대안 가운데 가장 큰 계열로 자란 데는 이유가 있어. 수십 년 동안 쌓인 고전 제어 이론과 신호 처리의 탄탄한 수학 위에 서 있거든. 이 트랙은 추상적인 SSM 방정식에서 출발해 HiPPO 기반 S4, 대각 행렬로 단순화한 S4D, 게이트를 더한 H3의 계보를 따라가. Mamba 이전의 SSM이 모두 같은 LTI 천장에 부딪힌 이유도 정확히 짚어. 다 읽고 나면 SSM을 GPU에서 실용적으로 만든 학습·추론의 이중 표현과, 선택성이 등장하기 전 무엇이 부족했는지 설명할 수 있어.
Lesson list (5)
퀴즈 · 3 문제→
03🐍Mamba와 선택적 SSM의 돌파구
0/5 lessons
S6의 선택성부터 하드웨어 인지 스캔, State Space Duality, 추론 중심 Mamba-3까지
Mamba가 등장하면서 SSM은 연구의 각주를 벗어나 제품으로 들어오기 시작했어. 돌파구는 B, C, Δ를 입력의 함수로 만드는 선택성이었지. 이 한 수가 이전 SSM을 가로막던 LTI의 천장을 깼어. 대신 합성곱으로 한꺼번에 학습하는 길도 막혔고, GPU의 SRAM 안에서 도는 하드웨어 인지 병렬 스캔이 필요해졌어. 이 트랙은 Mamba 1·2·3의 계보를 따라가. 선택성의 정체, 새로운 학습 커널이 필요했던 이유, State Space Duality가 묶어 낸 수학, Mamba-3의 exponential-trapezoidal discretization과 complex-valued state가 추론에 준 이득을 차례로 살펴볼 거야.
Lesson list (5)
퀴즈 · 4 문제→
04🦉RWKV — RNN의 정신, Transformer의 감각
0/5 lessons
학습·추론의 이중 표현, v4 → v7 계보, TC⁰ 돌파, 그리고 최대 규모의 Transformer 이후 배포
RWKV는 이미 써 봤지만 이름은 모를 수도 있는 대안 아키텍처야. Microsoft가 기기 내 Copilot을 위해 RWKV v5를 Windows 기기 약 15억 대에 실었거든. 다른 Transformer 이후 아키텍처보다 몇 자릿수나 큰 배포야. 핵심은 이중 표현이야. 학습할 때는 Transformer처럼 병렬로 GPU에 잘 맞게 돌고, 추론할 때는 일정한 메모리와 토큰당 O(1) 비용을 가진 RNN이 돼. 이 트랙에서는 v4 Dove부터 v7 Goose까지 계보를 따라가. RWKV-7이 표준 Transformer의 TC⁰ 한계를 넘어선다는 형식적 표현력 결과와, 회상 한계가 나타나는 지점도 솔직하게 살펴볼 거야.
Lesson list (5)
퀴즈 · 3 문제→
05🔁RetNet — Retention과 기억 기반 경로
0/5 lessons
세 가지 계산 방식, 고정 지수 감쇠, 그리고 후속 아키텍처에 남긴 가장 큰 유산
RetNet은 Transformer 이후 아키텍처를 훑는 글마다 등장하지만 대규모 제품에서는 거의 보이지 않는 대안이야. Microsoft Research의 2023년 논문이 retention을 내놓았어. head마다 고정된 지수 감쇠를 쓰는 순환 연산으로, 같은 매개변수를 병렬·순환·청크 단위의 세 방식으로 실행할 수 있어. 6.7B 규모의 수치도 인상적이고 수학도 우아했지. 하지만 진짜 기여는 후손에게 있어. Mamba-2의 State Space Duality, Google의 Hawk·Griffin, Gated Linear Attention에 직접 씨앗을 뿌렸거든. 이 트랙에서는 아키텍처와 세 가지 실행 방식, 데이터와 무관한 감쇠의 맞바꿈, 그리고 RetNet의 가장 깊은 영향이 후속 연구에 남은 이유를 살펴볼 거야.
Lesson list (5)
퀴즈 · 3 문제→
06🐾Hyena와 암시적 합성곱
0/5 lessons
FFT 기반 장거리 합성곱, StripedHyena 계보, 그리고 결정적인 쓰임새가 DNA였던 이유
Hyena는 어텐션이나 순환식 대신 학습된 합성곱 필터로 시퀀스를 섞으면 어떨지 물은 아키텍처야. 작은 FFN이 위치 부호화를 받아 <em>암시적</em> 필터를 만들기 때문에 메모리를 길이에 맞춰 늘리지 않고도 아주 긴 필터를 쓸 수 있어. FFT를 적용하면 비용은 O(L log L)이 되고. 2023년에 주목받은 뒤 언어 모델링에서는 Mamba에 밀렸지만 유전체학에서 진짜 집을 찾았어. StripedHyena 2가 문맥 1M, 매개변수 40B인 Evo 2를 구동했고 생존 가능한 미토콘드리아 유전체까지 만들었지. 이 트랙에서는 연산자와 여러 길이 범위를 맡는 하이브리드 계보를 살펴봐. 한 분야에서 압도적인 아키텍처가 여러 분야에서 어중간한 아키텍처보다 왜 더 가치 있는지도 볼 거야.
Lesson list (5)
퀴즈 · 3 문제→
07⚡선형·효율형 어텐션 변형
0/5 lessons
Performer, Longformer, BigBird, sliding window, NSA, MoBA, Kimi Linear — 어텐션의 틀 안에서 비용을 줄이는 방법
모든 대안 아키텍처가 어텐션을 떠나는 건 아니야. 한 계열은 어텐션의 틀을 유지한 채 커널화(linear attention, Performer), 희소성(Longformer, BigBird, sliding window), 연산 구조 재편(NSA, MoBA, Kimi Linear)으로 O(n²) 비용을 줄여. Transformer 생태계에 그대로 연결할 수 있어 도입하기 쉽고, 2024년부터 2026년까지 실제 제품으로 이어진 성과도 대부분 이 갈래에서 나왔어. 이 트랙에서는 잘 풀리지 않았던 초기 커널화 시도부터 Mistral과 Griffin이 제품에 도입한 sliding-window attention, 그리고 완전 어텐션보다 전반적으로 우세하다고 처음 보고한 2025년 10월 Kimi Linear 결과까지 계보를 따라가.
Lesson list (5)
퀴즈 · 3 문제→
08🧬하이브리드 모델 — 업계가 실제로 수렴한 곳
0/5 lessons
Jamba의 1:7 비율, Hymba의 병렬 결합, Nemotron-H의 기업 규모, MIRAS의 이론적 통합
이 퀘스트에서 트랙 하나만 고른다면 이걸 읽어. 2024년부터 2026년까지 제품 배포에 성공한 비Transformer 아키텍처는 모두 하이브리드였어. Jamba(어텐션:Mamba 1:7), Nemotron-H(어텐션 층 약 8%), Granite 4.0(9:1), Bamba, Zamba2, Hymba, SAMBA가 그 사례야. 서로 따로 연구하던 팀들이 비슷한 어텐션:SSM 비율에 독립적으로 도달했어. 이 트랙에서는 하이브리드가 작동하는 이유와 제품화된 모델을 살펴본 뒤, 모든 시퀀스 모델을 연상 기억의 변형으로 통합하는 MIRAS 틀까지 둘러볼 거야.
Lesson list (5)
퀴즈 · 4 문제→
09👑왜 Transformer가 여전히 우세한가
0/5 lessons
명시적 회상, 생태계의 관성, GPU 친화적인 GEMM, 학습 안정성 — 새 주장을 건전하게 의심하는 틀
여덟 트랙에 걸쳐 대안 아키텍처를 살펴봤으니 이제 기존 강자인 Transformer를 변호할 차례야. Transformer가 2026년에도 거의 모든 최전선 자리를 지키는 건 단순한 관성 때문이 아니야. In-context learning을 안정적으로 만드는 명시적인 토큰별 KV 캐시, 750K 체크포인트 규모의 생태계와 성숙한 서비스 기반 시설, 현대 하드웨어에 잘 맞는 GPU GEMM 연산, 대규모에서도 예측 가능한 학습 안정성이라는 구체적인 장점이 있어. 이 트랙에서는 각 장점을 살펴보고, 제품 환경에서 재현되지 않는 논문식 속도 향상에 속지 않도록 새 아키텍처 주장을 평가하는 틀로 마무리해.
Lesson list (5)
퀴즈 · 3 문제→
10🧭개발자를 위한 실용 의사결정 안내서
0/5 lessons
Transformer를 기본으로 둘 때, 하이브리드를 검토할 때, SSM/RWKV/Hyena가 실제로 타당할 때, 모든 논문을 쫓지 않고 흐름을 따라가는 법
Transformer 이후의 전체 풍경을 훑었으니 이제 의사결정 나무로 바꿔 보자. 이 트랙은 개발자가 가장 자주 묻는 네 질문에 구체적으로 답해. 언제 Transformer에 머물지, 언제 효율형 어텐션이면 충분한지, 어느 때 SSM/Mamba의 진척을 기술 스택 관점에서 추적할 가치가 있는지, 논문에 파묻히지 않고 흐름을 따라가는 방법이 무엇인지 다뤄. 끝나면 화면 옆에 붙여 둘 수 있는 아키텍처 의사결정 표와, 동료가 “왜 이걸 골랐어?”라고 물을 때 내놓을 근거 있는 답을 얻게 될 거야.
Lesson list (5)
퀴즈 · 4 문제→

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

💛 by 똘이— playful

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.

Tracks

01❓왜 어텐션 너머를 봐야 할까?

02📡State Space Models — 거대한 대안 계열

03🐍Mamba와 선택적 SSM의 돌파구

04🦉RWKV — RNN의 정신, Transformer의 감각

05🔁RetNet — Retention과 기억 기반 경로

06🐾Hyena와 암시적 합성곱

07⚡선형·효율형 어텐션 변형

08🧬하이브리드 모델 — 업계가 실제로 수렴한 곳

09👑왜 Transformer가 여전히 우세한가

10🧭개발자를 위한 실용 의사결정 안내서