"일의 모양은 숫자 둘이야. 첫 토큰 전에 얼마나 읽어야 하는지, 사람이 얼마나 기다릴지. 엣지는 한 모양은 잘 서비스하고 한 모양은 못 하고, 업계는 못 하는 쪽을 위해 짓고 있어."
곡선으로 값 매긴 모양
곡선 레슨은 맥에서 일을 결정하는 숫자 둘을 줬어. 첫 토큰까지의 시간은 프리필 속도 위의 프롬프트 토큰이고, 디코드는 그 컨텍스트에서의 디코드 속도 위의 출력 토큰이야. 코드 블록은 실험실이 잰 속도로 office의 27B에서 일 일곱을 값 매겨. 받아쓰기 정리, 300토큰 들어가고 300 나오는 건 10초. 메일 초안, 15. 한 페이지 번역, 1분 아래. 8,000토큰 프롬프트의 전사 요약, 36초. 비전 모델이 태깅하는 사진, 백그라운드에서 3초. 그 다섯은 짧은 컨텍스트에 지연 허용이야. 사람은 커서를 지켜보지 않거나, 숨 한 번 길이만큼 지켜봐. 그다음 나머지 둘. 이 집의 금고를 로드한 채팅, 10만 토큰은 첫 단어 전에 5분을 기다리고, 거의 전부가 프리필 벽이야. 전체 저장소 코딩 한 턴은 7분을 기다리고, 코딩 세션은 수십 턴이고, 각각은 기계가 이미 읽은 컨텍스트를 다시 재생해. 에이전트가 쓰는 문이 턴에 걸친 프롬프트 캐시를 안 두니까. 허브의 MLX 서버와 mlx-lm 자체 API엔 여정 트랙과 함대 트랙이 보여 줬듯 있는데, Ollama 단엔 없어. 그리고 재생을 숨길 배치가 없으니까.
95%와 5%
이 집의 독트린이 인구의 이름을 대. 처음 다섯 일은 대부분의 사람이 모델을 쓸 용도야. 요약, 번역, 메일 초안, 받아쓰기, 사진 태깅. 그리고 이미 함대에서 돌고 있어. 수천 건의 전사, 모든 맥의 온디바이스 받아쓰기, 산문 편집기 뒤의 오프라인 모델, 이미지를 태깅하는 로컬 모델. 그게 95%의 일이고, 엣지는 Studio는 고사하고 24 GB 노트북에서도 그걸 잘 서비스해. 마지막 둘은 업계의 일이야. 긴 컨텍스트, 전체 저장소 읽기, 수십 단계의 루프를 가진 코딩. 256K 컨텍스트 창을 실제 맥에선 못 쓰게 만드는 것이고, 흔한 문들이 턴에 걸친 접두사 캐시를 안 두는 풀이 가장 못 서비스하는 것. 독트린의 문장은 정확해. 업계는 엣지가 서비스 못 하는 워크로드를 위해 모델을 짓고 엣지가 잘 서비스하는 워크로드엔 아무것도 제품화하지 않는다. 코딩이 수익이 있는 곳이고 95%는 아직 안 내니까. 라이벌 트랙의 체크리스트는 그 해법을 소프트웨어에 뒀어. 플랫폼 안의 접두사 캐시와 배칭. 이 레슨의 산수가 그게 얼마나 사 줄지 보여 줘. 금고 채팅의 5분 벽을 턴마다 대신 한 번만 치르는 것.
이 집이 코딩은 클라우드에서, 받아쓰기는 집에서 돌리는 이유
함대의 기록은 코드 블록의 두 칸을 계층으로 정렬한 거야. 코딩 에이전트의 프론티어 레그는 클라우드고, 바닥 단은 로컬이고 슬림해. 슬림한 하네스가 로컬 코딩 턴을 할 만할 만큼 짧게 만드니까. 받아쓰기, 태깅, 요약, 검색은 로컬이거나 설정 하나 거리야. 모델이 어디서 돌아야 하는지에 대한 이데올로기가 아니야. 곡선에서 읽어 낸 일의 모양이야. 몇 초짜리 벽은 방으로, 수십 번 재생되는 몇 분짜리 벽은 접두사 캐시와 그 뒤에 숨길 수천 스트림을 가진 랙으로. 이 집 자신의 읽기는 한 걸음 더 가고 이 퀘스트는 그걸 판단으로 실어. 코딩이 엣지에 충분히 조용해지는 날은 그 수익이 식는 날이고, 그날 살아남는 모델은 코딩 벤치마크에서 점수 내는 그 모델이 아니다. 다음 레슨은 그날을 기다려야 하는 기계의 산수야.