용도를 방식에 연결해
아래 표는 절대 법칙은 아니지만 특별한 이유가 없을 때 쓸 만한 출발점이야.
| 용도 | 추천 방식 | 이유 |
|---|---|---|
| 대화 챗봇 | Dense 또는 MoE, 일반 모드 | 응답이 빠르고 비용을 예측하기 쉬워 |
| 코드 자동 완성 | 소형 Dense, 일반 모드 | 지연 시간이 길면 IDE가 멈춘 듯 느껴져 |
| 코드 디버깅 | 어려운 문제만 확장 추론 | 복잡한 원인 분석에는 긴 생각이 도움이 돼 |
| 다단계 에이전트 | MoE 또는 소형 Dense, 일반 모드 | 많은 호출에 사고 비용과 지연이 누적돼 |
| 긴 문서 검색 | Dense 또는 MoE, 일반 모드 | 주된 일은 깊은 추론보다 검색과 종합이야 |
| 기기 안 로컬 추론 | 소형 Dense와 양자화 | 도구 지원이 좋고 메모리를 예측하기 쉬워 |
| 한 번의 연구·분석 | 확장 추론 | 여러 단계의 분석에 긴 생각이 도움 돼 |
| 창작 | 어떤 백본이든 일반 모드 | 과한 추론이 글을 기계적으로 만들 수 있어 |
| 수학 문제·증명 | 확장 추론 | 추론 모드의 장점이 가장 뚜렷해 |
| 비용 민감 API | MoE 일반 모드 또는 소형 Dense | 연산 효율과 예측 가능성 가운데 고를 수 있어 |
| 프런티어 연구 | 필요하면 MoE와 확장 추론 | 비용을 감수하고 최대 능력을 노려 |
세 질문으로 좁혀
- 호출이 많은가, 어려운 호출 한 번인가? 호출이 많으면 일반 모드, 한 번이 어렵다면 확장 추론을 고려해.
- 병목은 지연 시간, 비용, 품질 가운데 무엇인가? 지연은 빠른 Dense, 비용은 소형 Dense나 MoE, 어려운 문제의 품질은 추론 모드가 유리해.
- 로컬인가, 관리형 API인가? 로컬이면 소형 Dense가 편하고 관리형이면 선택지가 넓어져.
기본값도 이유를 가져야 해
특별한 이유가 없다면 충분히 큰 Dense 모델을 관리형 API의 일반 추론 모드로 시작하는 게 단순해. 다만 이건 영구 정답이 아니라 측정을 시작할 기준선이야.