세 렌즈와 네 축을 한 표에 놓아
Dense, MoE, 추론이라는 세 렌즈와 백본, 학습, 추론, 제품이라는 네 축을 배웠어. 조합을 외우는 대신 실전에서 중요한 제약마다 어느 방식이 유리한지 비교해 보자.
| 차원 | Dense | MoE | 추론 중심 |
|---|---|---|---|
| 토큰당 연산량 | 모든 파라미터가 켜져 큼 | top-K 전문가만 켜져 작음 | 생각의 길이에 따라 달라짐 |
| 메모리 | 전체 파라미터와 같음 | 활성보다 훨씬 큰 전체 파라미터와 같음 | 기반 모델과 생각 토큰의 KV 캐시가 필요함 |
| 요청 지연 시간 | 예측하기 쉬움 | 연산은 적지만 라우팅 비용이 있음 | 높고 변동 폭이 큼 |
| 서빙 복잡성 | 표준 텐서 병렬화로 단순함 | 전문가 병렬화와 균형화가 필요함 | 긴 시퀀스와 예산 제어가 필요함 |
| 미세 조정 | LoRA 생태계가 성숙함 | 라우팅 때문에 적응이 복잡함 | 강화학습과 보상 설계까지 필요할 수 있음 |
| 로컬 배포 | 도구 지원이 가장 좋음 | 전체 메모리가 커서 어려움 | 기반 모델이 들어가도 더 느림 |
| API 비용 | 크기에 대체로 비례함 | FLOP당 처리량이 좋지만 메모리 비용이 있음 | 생각 토큰 때문에 크게 늘 수 있음 |
| 어려운 문제 | 큰 모델이면 잘함 | 학습에 따라 잘함 | 확장 사고가 특히 유리함 |
| 단순 질의 | 빠르고 충분함 | 빠르고 충분함 | 과하게 생각하면 낭비가 됨 |
비교를 둘로 나눠
첫째, Dense와 MoE는 백본 선택에서 경쟁해. 토큰당 연산량과 전체 메모리를 맞바꾸는 문제야. 추론 모드는 어느 백본에도 얹을 수 있으므로 ‘MoE와 추론 가운데 무엇을 고를까’는 잘못 만든 질문이야.
둘째, 실제 병목에 따라 답이 바뀌어. 메모리가 부족하면 MoE가 불리하고, 연산량이 문제면 도움이 돼. 운영 단순성이 중요하면 Dense가 강하고, 어려운 문제의 정답률이 중요하면 추론 모드가 강해. 지연 시간이 급하면 추론 모드를 신중히 써야 하고.