포스트 트랜스포머 시대의 아키텍처 문해력
2026년에 “이 모델은 트랜스포머야”라고 말해 봐야 거의 아무 정보도 얻지 못해. 현대 LLM은 백본, 후속 학습, 추론 전략, 제품 동작이라는 네 축에서 갈라져. 이 축을 구분할 줄 알아야 발표문을 읽지, 발표문에 끌려가지 않아. 이 퀘스트는 그때 꺼내 보는 현장 안내서야.
8 tracks · 41 lessons · ~18h · difficulty: intermediate-to-advanced
백본, 학습, 추론, 제품: 다른 모든 것을 읽는 나침반이야
현대 LLM은 모두 네 축의 교차점에 놓여 있어. 변화가 어느 축에서 일어났는지 말할 수 있으면, 서로 다른 변화를 한 문구로 뭉개는 마케팅에 끌려가지 않아.
모든 토큰이 모든 파라미터를 쓰는 가장 단순한 방식
Dense는 구조와 도구가 가장 잘 알려진 기준선이야. Llama, Gemma, Qwen, Mistral, Phi를 살펴보며 2026년에도 Dense가 강한 자리와 규모가 커질 때 치르는 대가를 배워.
레이어에는 전문가가 여럿, 토큰마다 쓰는 건 일부
모든 토큰이 모든 전문가를 거칠 필요는 없어. MoE는 메모리 요구량과 토큰당 연산량을 갈라 놓고, 아주 큰 모델을 실제로 서빙할 길을 열어.
같은 백본으로 더 오래 생각하게 만드는 학습과 추론
추론은 대개 새 아키텍처가 아니라 학습된 행동이야. 강화학습과 확장 사고를 결합하면 문제를 나누고 검증하며 한 번의 생성으로 풀기 어려운 답에 다가갈 수 있어.
RAG, 도구, 에이전트, 긴 컨텍스트, 추측 디코딩을 제자리로 돌려놓기
LLM 담론은 응용 계층의 기능을 백본 변화처럼 말하곤 해. 이 트랙은 마케팅 문구를 네 축으로 다시 풀어 실제 변화가 어디에 있는지 보여줘.
워크로드에 맞는 Dense, MoE, 추론과 냅킨 비용 계산
워크로드의 병목을 해결할 방식에 연결하고, 배포 전에 비용과 지연 시간을 거칠게라도 계산하는 실전 결정표야.
다섯 질문과 한 장의 해독표로 과장을 걷어 내기
새 발표마다 같은 질문을 적용해 Dense와 MoE를 구분하고, 벤치마크와 라이선스를 비판적으로 읽어. 문서에 있는 내용만큼 빠진 내용도 살펴보는 훈련이야.
하이브리드, Mamba, RWKV가 바꾸는 것과 남겨 두는 것
포스트 트랜스포머 아이디어가 실제 제품에 닿는 하이브리드와 아직 프런티어 규모에 이르지 못한 순수 SSM을 나눠 보고, 과장에 빠지지 않고 다음 흐름을 읽어.
아직 댓글이 없어요. 첫 댓글을 남겨보세요.