오해 1: “MoE는 언제나 더 싸다”
토큰당 연산량은 줄일 수 있지만 호스팅 전체가 늘 싸지는 않아. 전체 파라미터를 메모리에 올려야 하므로 단일 GPU 로컬 실행, 긴 배치 생성, 매우 긴 컨텍스트처럼 메모리가 병목인 작업에서는 Dense보다 비쌀 수 있어.
오해 2: “전문가마다 과목이 정해져 있다”
매력적인 그림이지만 실제 분석은 더 소박해. Mixtral과 Switch Transformer의 전문가는 과학이나 문학 같은 주제보다 문장 부호, 특정 형태소, 언어 쌍 같은 토큰·구문 수준 패턴에 특화되는 경우가 많았어.
오해 3: “가격은 활성 파라미터만 따라야 한다”
제공자는 활성 FLOPs뿐 아니라 메모리, 장비 활용률, 부하 균형 비용까지 함께 부담해. 671B-A37B 모델을 단순한 37B 가격에 팔 수 없는 이유야. 가격표의 등급과 조건을 그대로 읽어야 해.
오해 4: “MoE는 미래고 Dense는 과거다”
2026년에도 둘 다 발전하고 있어. 30B 아래, 미세 조정, 로컬 배포, 디버깅에는 Dense가 강하고, 감당할 만한 연산량으로 프런티어급 용량을 얻으려면 MoE가 강해. 서로 대체하는 관계가 아니야.
오해 5: “Top-K는 높을수록 좋다”
K를 키우면 토큰마다 더 많은 전문가가 켜져 다양한 조합을 만들지만 연산량도 늘어. 품질을 곧장 올리는 손잡이가 아니라 절충을 조절하는 손잡이야. 알맞은 값은 전문가 수, 모델 규모, 학습법, 서빙 목표에 따라 달라.
주장을 둘로 쪼개 읽어
MoE에 관한 문장을 보면 먼저 물어. 연산량을 말하는가, 메모리를 말하는가, 둘 다를 말하는가? 마케팅은 둘을 자주 한 문장에 뭉개지만 실제 아키텍처에서는 분리돼 있어.