Local AI Quest

Tracks

1. 01🏠Why Local AI

   0/5 lessons

   Privacy, cost, latency, offline, freedom

   Local-first가 cloud-only를 이기는 시점 — 그리고 그러기 위해 잃는 거. Hardware, quantization, format, 그리고 quest 나머지에서 작업할 engine ecosystem.

   Lesson list (5)

   • 01
     Local의 명분~22 min · local, strategy, privacy, cost
   • 02
     Hardware 현실~22 min · hardware, vram, apple-silicon
   • 03
     Quantization Tradeoff~22 min · quantization, gguf
   • 04
     GGUF와 MLX 형식~22 min · gguf, mlx, formats
   • 05
     Engine과 ecosystem~20 min · ollama, llamacpp, vllm, lm-studio

   ✓퀴즈 · 5 문제→

2. 02🦙Ollama Runtime

   0/5 lessons

   설치, pull, 실행, 관리

   Ollama가 아무것도 안 깔린 상태에서 안정적인 HTTP API 뒤의 local 모델까지 가는 가장 단순한 옳은 경로. API 만지기 전에 CLI랑 모델 라이브러리랑 Modelfile 시스템 마스터해.

   Lesson list (5)

   • 01
     설치하고 띄우기~18 min · ollama, install
   • 02
     Pull과 Run~22 min · ollama, models
   • 03
     2026 모델 라이브러리~20 min · models, library
   • 04
     관리 명령어~16 min · ollama, ops
   • 05
     Modelfile 설정~24 min · ollama, modelfile

   ✓퀴즈 · 5 문제→

3. 03🔌Ollama HTTP API

   0/5 lessons

   Endpoint, option, structured output

   모든 adapter에서 얘기할 HTTP 표면. /api/chat은 대화에, /api/generate는 FIM에, 모델 관리 endpoint는 ops에, format 필드는 typed JSON output에.

   Lesson list (5)

   • 01
     API 표면~18 min · api, endpoints
   • 02
     POST /api/chat — 대화형 endpoint~26 min · api, chat, messages
   • 03
     POST /api/generate — Raw completion~16 min · api, completion, fim
   • 04
     모델 관리 endpoint~16 min · api, management
   • 05
     Option과 Structured output~22 min · api, options, json-schema

   ✓퀴즈 · 5 문제→

4. 04🌊Streaming the Local Stream

   0/4 lessons

   NDJSON, SSE 아냐

   Ollama는 SSE 아니라 NDJSON으로 stream. Python이랑 TypeScript에서 streaming 제대로 만들고, OpenAI-shape frontend 호환성 필요할 때 선택적 NDJSON→SSE proxy 빌드.

   Lesson list (4)

   • 01
     NDJSON, SSE 아냐~18 min · streaming, ndjson
   • 02
     httpx로 Python streaming~22 min · streaming, python, httpx
   • 03
     fetch로 TypeScript streaming~22 min · streaming, typescript
   • 04
     NDJSON → SSE proxy~20 min · streaming, sse, proxy

   ✓퀴즈 · 4 문제→

5. 05🔧Local Tool Use

   0/4 lessons

   진짜 동작하는 function calling

   OpenAI-format tool 정의, multi-turn tool loop, timeout이랑 error JSON 가진 방어적 dispatch, agentic loop bound 유지하는 production 패턴.

   Lesson list (4)

   • 01
     Local Tool Calling 101~18 min · tools, function-calling
   • 02
     Tool 정의와 호출~22 min · tools, schema
   • 03
     Multi-turn tool loop~24 min · tools, loop, agent
   • 04
     Tool calling 베스트 프랙티스~18 min · tools, practices

   ✓퀴즈 · 4 문제→

6. 06👁️Local Vision Models

   0/4 lessons

   OCR, chart, screenshot — local에서

   Vision-capable local 모델 (Llama 3.2-Vision, Gemma 3, Qwen 2.5-VL), Ollama 이미지 형식, 여러 이미지 use case, local vision이 cloud 이기는 곳.

   Lesson list (4)

   • 01
     Vision-capable local 모델~18 min · vision, multimodal
   • 02
     이미지 보내기~20 min · vision, images
   • 03
     여러 이미지와 use case~18 min · vision, multi-image, ocr
   • 04
     Local vs cloud vision~14 min · vision, tradeoffs

   ✓퀴즈 · 3 문제→

7. 07🏗️Beyond Ollama — Other Servers

   0/4 lessons

   llama.cpp, vLLM, TGI

   Ollama 너머 자랐을 때 engine map. Raw GGUF용 llama.cpp server, 동시 throughput용 vLLM, HuggingFace-native production용 TGI, 안전하게 engine swap하기 위한 호환성 test harness.

   Lesson list (4)

   • 01
     Ollama 너머 — engine map~18 min · serving, engines
   • 02
     llama.cpp server~22 min · serving, llamacpp, gguf
   • 03
     vLLM과 throughput~22 min · serving, vllm, throughput
   • 04
     OpenAI 호환성 test~18 min · serving, compatibility, openai

   ✓퀴즈 · 3 문제→

8. 08🔄The Adapter Pattern

   0/5 lessons

   Local을 cloud의 swap 가능 peer로

   Narrow 인터페이스 하나, universal stream chunk 하나, 작은 모델용 mini-mode, stateless session, cloud→local fallback 가진 multi-vessel orchestrator.

   Lesson list (5)

   • 01
     공통 AI Adapter 인터페이스~20 min · adapters, abstraction
   • 02
     OllamaAdapter 구현~26 min · adapters, ollama
   • 03
     모델 selection과 mini mode~18 min · adapters, selection
   • 04
     Stateless session과 remote Ollama~18 min · adapters, session, remote
   • 05
     Multi-vessel fallback~22 min · adapters, fallback, orchestration

   ✓퀴즈 · 4 문제→

9. 09⚙️Production Operations

   0/5 lessons

   튜닝, 벤치마크, 업데이트, ship

   성능 env var, 벤치마크 규율, 이 quest이 의도적으로 뒤에 머무는 MLX 경계, 업데이트 위생, 작은 cloud-first / local-fallback 서비스 end-to-end ship.

   Lesson list (5)

   • 01
     성능 튜닝~22 min · ops, performance
   • 02
     Local 벤치마크~18 min · ops, benchmark
   • 03
     MLX 경계~14 min · ops, mlx, boundary
   • 04
     업데이트 규율~14 min · ops, updates
   • 05
     Local AI fallback ship하기~22 min · ops, production, fallback

   ✓퀴즈 · 4 문제→