발표마다 같은 순서로 물어
모델 발표, 블로그, 마케팅 페이지는 다섯 질문으로 빠르게 정리할 수 있어. 답이 나오면 실전에 중요한 모양이 보이고, 답을 찾을 수 없다면 발표가 감춘 빈칸이 드러나.
1. 토큰마다 무엇이 켜질까?
전체와 활성 파라미터를 확인해. 둘이 같은 Dense인지, 일부만 켜지는 MoE인지에 따라 메모리와 토큰당 연산량이 갈려. 이후의 비용 계산이 모두 여기에 기대므로 가장 먼저 물어야 해.
2. 지연 시간은 어떤 모양일까?
응답 시간이 예측 가능한 일반 모델인지, 생각 길이에 따라 흔들리는 추론 모델인지 봐. 사고 예산을 조절할 수 있는지, 생각 시간과 토큰이 과금되는지도 확인해.
3. 로컬에서 서빙할 수 있을까?
24GB·48GB GPU 한 장이나 Mac Studio에 들어가는지, 양자화했을 때 최소 VRAM은 얼마인지, GGUF·MLX·AWQ 배포본이 있는지 찾아. 답이 없으면 관리형 API에 묶일 수 있어.
4. 벤치마크 우승이 내 작업에도 유효할까?
오염된 문제, 골라 보여 준 지표, 평가 절차 차이는 흔해. 가장 강한 신호는 실제 작업을 닮은 자체 평가야. 발표가 내 용도와 무관한 벤치마크만 강조한다는 사실도 정보야.
5. 능력은 어느 축에서 생겼을까?
백본, 학습, 추론, 제품 가운데 변화의 자리를 잡으면 경쟁사가 얼마나 빨리 따라 할지도 가늠할 수 있어. 백본 변화는 드물고 복제하기 느리지만 학습법과 추론법은 비교적 빨리 퍼져.
반복할수록 읽는 속도가 붙어
처음에는 시간이 걸려도 열 번째 발표쯤에는 몇 분이면 돼. 그때부터는 발표가 어느 질문을 피하는지도 보이기 시작해. 대개 그 빈칸이 가장 유익한 정보야.