Local AI Quest

Tracks

1. 01🏠Why Local AI

   0/5 lessons

   프라이버시, 비용, 지연, 오프라인, 자유

   Local-first가 cloud-only를 이기는 시점, 그리고 그 대가로 뭘 내주는지. 하드웨어, quantization, 형식, 그리고 남은 track에서 계속 만질 engine 생태계까지 훑어.

   Lesson list (5)

   • 01
     Local의 명분~22 min · local, strategy, privacy, cost
   • 02
     Hardware 현실~22 min · hardware, vram, apple-silicon
   • 03
     Quantization Tradeoffs~22 min · quantization, gguf
   • 04
     GGUF와 MLX 형식~22 min · gguf, mlx, formats
   • 05
     Engine과 ecosystem~20 min · ollama, llamacpp, vllm, lm-studio

   ✓퀴즈 · 5 문제→

2. 02🦙Ollama Runtime

   0/5 lessons

   설치, pull, 실행, 관리

   Ollama는 아무것도 안 깔린 상태에서 안정적인 HTTP API 뒤의 local 모델까지 가는, 가장 단순하면서 옳은 경로야. API 만지기 전에 CLI랑 모델 라이브러리랑 Modelfile 시스템부터 손에 익혀.

   Lesson list (5)

   • 01
     설치하고 띄우기~18 min · ollama, install
   • 02
     Pull과 Run~22 min · ollama, models
   • 03
     2026 모델 라이브러리~20 min · models, library
   • 04
     관리 명령어~16 min · ollama, ops
   • 05
     Modelfile 설정~24 min · ollama, modelfile

   ✓퀴즈 · 5 문제→

3. 03🔌Ollama HTTP API

   0/5 lessons

   Endpoint, option, structured output

   앞으로 모든 adapter가 상대할 HTTP 표면이야. /api/chat은 대화에, /api/generate는 FIM에, 모델 관리 endpoint는 ops에, format 필드는 typed JSON output에 써.

   Lesson list (5)

   • 01
     API 표면~18 min · api, endpoints
   • 02
     POST /api/chat — 대화형 endpoint~26 min · api, chat, messages
   • 03
     POST /api/generate — Raw completion~16 min · api, completion, fim
   • 04
     모델 관리 endpoint~16 min · api, management
   • 05
     Option과 Structured output~22 min · api, options, json-schema

   ✓퀴즈 · 5 문제→

4. 04🌊Streaming the Local Stream

   0/4 lessons

   NDJSON, SSE 아냐

   Ollama는 SSE가 아니라 NDJSON으로 stream해. Python이랑 TypeScript에서 streaming을 제대로 만들고, OpenAI-shape frontend랑 붙여야 할 때 쓸 NDJSON→SSE proxy까지 만들어봐.

   Lesson list (4)

   • 01
     NDJSON, SSE 아냐~18 min · streaming, ndjson
   • 02
     httpx로 Python streaming~22 min · streaming, python, httpx
   • 03
     fetch로 TypeScript streaming~22 min · streaming, typescript
   • 04
     NDJSON → SSE proxy~20 min · streaming, sse, proxy

   ✓퀴즈 · 4 문제→

5. 05🔧Local Tool Use

   0/4 lessons

   진짜 동작하는 function calling

   OpenAI-format tool 정의, multi-turn tool loop, timeout이랑 error JSON을 갖춘 방어적 dispatch, 그리고 agentic loop이 폭주하지 않게 묶어두는 production 패턴까지.

   Lesson list (4)

   • 01
     Local Tool Calling 101~18 min · tools, function-calling
   • 02
     Tool 정의와 호출~22 min · tools, schema
   • 03
     Multi-turn tool loop~24 min · tools, loop, agent
   • 04
     Tool calling 베스트 프랙티스~18 min · tools, practices

   ✓퀴즈 · 4 문제→

6. 06👁️Local Vision Models

   0/4 lessons

   OCR, chart, screenshot — local에서

   Vision-capable local 모델 (Qwen 3.5, Gemma 4, Llama 3.2-Vision, Qwen 2.5-VL), Ollama 이미지 형식, 여러 이미지를 한꺼번에 쓰는 경우, 그리고 local vision이 cloud를 이기는 지점까지.

   Lesson list (4)

   • 01
     Vision-capable local 모델~18 min · vision, multimodal
   • 02
     이미지 보내기~20 min · vision, images
   • 03
     여러 이미지와 use case~18 min · vision, multi-image, ocr
   • 04
     Local vs cloud vision~14 min · vision, tradeoffs

   ✓퀴즈 · 3 문제→

7. 07🏗️Beyond Ollama — Other Servers

   0/4 lessons

   llama.cpp, vLLM, TGI

   Ollama를 넘어설 만큼 자랐을 때 펼쳐볼 engine 지도야. Raw GGUF엔 llama.cpp server, 동시 throughput엔 vLLM, 이미 TGI로 돌고 있는 배포엔 TGI (HuggingFace는 maintenance 모드로 돌려놨어), 그리고 engine을 안전하게 갈아끼우기 위한 호환성 test harness까지.

   Lesson list (4)

   • 01
     Ollama 너머 — engine map~18 min · serving, engines
   • 02
     llama.cpp server~22 min · serving, llamacpp, gguf
   • 03
     vLLM과 throughput~22 min · serving, vllm, throughput
   • 04
     OpenAI 호환성 test~18 min · serving, compatibility, openai

   ✓퀴즈 · 3 문제→

8. 08🔄The Adapter Pattern

   0/5 lessons

   Local을 cloud의 swap 가능 peer로

   좁은 인터페이스 하나, universal stream chunk 하나, 작은 모델을 위한 mini-mode, stateless session, 그리고 fallback 순서를 네가 고르는 multi-vessel orchestrator까지. 프라이버시랑 비용이면 local-first, 품질이면 cloud-first. 클래스는 같아.

   Lesson list (5)

   • 01
     공통 AI Adapter 인터페이스~20 min · adapters, abstraction
   • 02
     OllamaAdapter 구현~26 min · adapters, ollama
   • 03
     모델 selection과 mini mode~18 min · adapters, selection
   • 04
     Stateless session과 remote Ollama~18 min · adapters, session, remote
   • 05
     Multi-vessel fallback~22 min · adapters, fallback, orchestration

   ✓퀴즈 · 4 문제→

9. 09⚙️Production Operations

   0/5 lessons

   튜닝, 벤치마크, 업데이트, ship

   성능 env var, 벤치마크 규율, 이 quest가 일부러 얕게 두고 가는 MLX 경계, 업데이트 위생, 그리고 작은 cloud-first / local-fallback 서비스를 end-to-end로 띄우기까지.

   Lesson list (5)

   • 01
     성능 튜닝~22 min · ops, performance
   • 02
     Local 벤치마크~18 min · ops, benchmark
   • 03
     MLX 경계~14 min · ops, mlx, boundary
   • 04
     업데이트 규율~14 min · ops, updates
   • 05
     Local AI fallback ship하기~22 min · ops, production, fallback

   ✓퀴즈 · 4 문제→