모델 선택은 곧 사용자 경험 선택이야
백본과 추론 방식을 진공 속에서 고를 수는 없어. 어떤 응답 흐름이 가능하고 무엇이 낭비이며 어떤 표시가 필요한지까지 함께 결정돼.
Dense는 예측 가능한 화면을 만들기 쉬워
- 토큰당 지연이 고르게 나와 스트리밍과 타자기 효과를 설계하기 쉬워.
- 비용이 사용자 활동량에 대체로 비례해 요금제를 나누기 편해.
- 용량 계획도 토큰 수와 처리량의 곱으로 잡을 수 있어.
MoE는 인프라 계산이 달라져
- 토큰당 연산량이 적어 규모가 클 때 같은 돈으로 더 많은 토큰을 처리할 수 있어.
- 전체 파라미터 메모리가 커서 GPU 수는 활성보다 전체 크기를 따라가.
- 전문가 부하가 고르지 않으면 꼬리 지연이 늘어 배치와 용량 계획이 복잡해져.
추론 모드는 기다림을 디자인해야 해
- 응답 시간이 들쭉날쭉하므로 ‘생각 중’ 같은 진행 표시가 필요해.
- 요청당 비용이 커져 사용 한도, 단계별 가격, 사고 예산 설정이 필요할 수 있어.
- 생각을 보여 준다면 접기, 요약, 최종 답과 다른 시각 표현이 필요해.
- 30초 응답이 25초 생각과 5초 출력일 수 있으니 지연 예산을 나눠 봐야 해.
제품의 표면은 내부 선택의 흔적이야
Cursor 자동 완성은 빠른 일반 추론이므로 즉시 보여 주고, ChatGPT의 ‘생각 중’ 표시는 추론 지연을 다루며, Claude의 접을 수 있는 생각 블록은 표시 정책을 반영해. 잘 만든 제품은 모델의 동작을 숨기려 애쓰기보다 그 주위에 맞는 경험을 설계해.
모델과 화면을 함께 골라
낮은 지연을 전제로 만든 화면에 추론 모델을 나중에 억지로 넣으면 사고 모드를 켤 때 고장 난 듯 느껴져. 워크로드와 모델 방식을 먼저 정하고 기다림, 비용, 표시 방식을 함께 설계해.