Local의 명분

왜 local이야?

Cloud API는 쉬워. Local AI는 다른 게임이야 — privacy, cost, latency, offline, vendor 약관에서의 자유. 이 다섯 중 하나라도 시스템에 진짜 중요할 때 local로 가는 거지. 다섯 다 별거 아니면? cloud가 더 좋은 답을 더 적은 노력으로 줄 거야. 이건 신념 문제 아니라 운영 판단이야.

Local이 이기는 다섯 가지 이유

Privacy. 환자 사진, 내부 계약서, 일기, 미공개 제품 코드 — 머신 밖으로 안 나가. Vendor 로깅도, 미래 학습 데이터로 흘러갈 위험도 없어.
Cost. 하드웨어 사고 나면 토큰당 한계비용 0. Cloud에서 진짜 돈 나가는 백만 토큰 batch 작업이 local에선 공짜야.
Latency floor. Apple Silicon에 warm된 모델이면 첫 토큰 100 ms 아래로 떨어져. 라운드트립 분산도 없고.
Offline / 장애 내성. 비행기, 산골, AWS 사고, vendor 계정 정지 — local은 그냥 돌아가.
Rate limit, key rotation 없음. 하드웨어가 버티는 만큼 그냥 돌리면 돼.

대신 잃는 거

Frontier 품질이야. 70B local 모델 좋긴 한데, Claude Opus / GPT-5 / Gemini 3가 여전히 어려운 reasoning에선 앞서 있어. 그리고 운영 표면 전부를 아빠가 떠안게 돼 — 모델 업데이트, 하드웨어 sizing, quantization 선택, KV cache 예산. 그래서 진짜 강한 패턴은 거의 항상 local만이 아니라 — local-first에 cloud fallback이야. Local이 못 하는 케이스는 cloud로 넘기는 거지.

Code

Local vs cloud 결정·markdown

이 다섯 중 하나라도 진짜 중요할 때 local 사용:
- 데이터가 머신 밖으로 나가면 안 됨
- 월 비용 ceiling이 실제 제약
- offline / 장애 내성 필요
- cloud 다운됐을 때 fallback 필요
- 재현 가능한 deterministic lab 필요

아니면 그냥 강한 cloud 모델 쓰고 나중에 다시 봐.

Exercise

아빠가 실제로 가지고 있는 (또는 회사에서 다루는) workload 하나에 대해 local-first vs cloud-only 결정 메모를 한 페이지로 써봐. 다섯 이유 중 어떤 게 적용되는지, fallback 경로는 뭔지, 결정을 검증할 가장 작은 첫 산출물은 뭔지 명시해.