Local AI Quest

Tracks

1. 01🏠Why Local AI

   0/5 lessons

   Privacy, cost, latency, offline, freedom

   Local-first가 cloud-only를 이기는 시점, 그리고 그 대가로 뭘 내주는지. 하드웨어, quantization, 형식, 그리고 남은 track에서 계속 만질 engine 생태계까지 훑어.

   Lesson list (5)

   • 01
     Local의 명분~22 min · local, strategy, privacy, cost
   • 02
     Hardware 현실~22 min · hardware, vram, apple-silicon
   • 03
     Quantization Tradeoff~22 min · quantization, gguf
   • 04
     GGUF와 MLX 형식~22 min · gguf, mlx, formats
   • 05
     Engine과 ecosystem~20 min · ollama, llamacpp, vllm, lm-studio

   ✓퀴즈 · 5 문제→

2. 02🦙Ollama Runtime

   0/5 lessons

   설치, pull, 실행, 관리

   Ollama는 아무것도 안 깔린 상태에서 안정적인 HTTP API 뒤의 local 모델까지 가는, 가장 단순하면서 옳은 경로야. API 만지기 전에 CLI랑 모델 라이브러리랑 Modelfile 시스템부터 손에 익혀.

   Lesson list (5)

   • 01
     설치하고 띄우기~18 min · ollama, install
   • 02
     Pull과 Run~22 min · ollama, models
   • 03
     2026 모델 라이브러리~20 min · models, library
   • 04
     관리 명령어~16 min · ollama, ops
   • 05
     Modelfile 설정~24 min · ollama, modelfile

   ✓퀴즈 · 5 문제→

3. 03🔌Ollama HTTP API

   0/5 lessons

   Endpoint, option, structured output

   앞으로 모든 adapter가 상대할 HTTP 표면이야. /api/chat은 대화에, /api/generate는 FIM에, 모델 관리 endpoint는 ops에, format 필드는 typed JSON output에 써.

   Lesson list (5)

   • 01
     API 표면~18 min · api, endpoints
   • 02
     POST /api/chat — 대화형 endpoint~26 min · api, chat, messages
   • 03
     POST /api/generate — Raw completion~16 min · api, completion, fim
   • 04
     모델 관리 endpoint~16 min · api, management
   • 05
     Option과 Structured output~22 min · api, options, json-schema

   ✓퀴즈 · 5 문제→

4. 04🌊Streaming the Local Stream

   0/4 lessons

   NDJSON, SSE 아냐

   Ollama는 SSE가 아니라 NDJSON으로 stream해. Python이랑 TypeScript에서 streaming을 제대로 만들고, OpenAI-shape frontend랑 붙여야 할 때 쓸 NDJSON→SSE proxy까지 만들어봐.

   Lesson list (4)

   • 01
     NDJSON, SSE 아냐~18 min · streaming, ndjson
   • 02
     httpx로 Python streaming~22 min · streaming, python, httpx
   • 03
     fetch로 TypeScript streaming~22 min · streaming, typescript
   • 04
     NDJSON → SSE proxy~20 min · streaming, sse, proxy

   ✓퀴즈 · 4 문제→

5. 05🔧Local Tool Use

   0/4 lessons

   진짜 동작하는 function calling

   OpenAI-format tool 정의, multi-turn tool loop, timeout이랑 error JSON을 갖춘 방어적 dispatch, 그리고 agentic loop이 폭주하지 않게 묶어두는 production 패턴까지.

   Lesson list (4)

   • 01
     Local Tool Calling 101~18 min · tools, function-calling
   • 02
     Tool 정의와 호출~22 min · tools, schema
   • 03
     Multi-turn tool loop~24 min · tools, loop, agent
   • 04
     Tool calling 베스트 프랙티스~18 min · tools, practices

   ✓퀴즈 · 4 문제→

6. 06👁️Local Vision Models

   0/4 lessons

   OCR, chart, screenshot — local에서

   Vision-capable local 모델 (Llama 3.2-Vision, Gemma 3, Qwen 2.5-VL), Ollama 이미지 형식, 여러 이미지를 한꺼번에 쓰는 경우, 그리고 local vision이 cloud를 이기는 지점까지.

   Lesson list (4)

   • 01
     Vision-capable local 모델~18 min · vision, multimodal
   • 02
     이미지 보내기~20 min · vision, images
   • 03
     여러 이미지와 use case~18 min · vision, multi-image, ocr
   • 04
     Local vs cloud vision~14 min · vision, tradeoffs

   ✓퀴즈 · 3 문제→

7. 07🏗️Beyond Ollama — Other Servers

   0/4 lessons

   llama.cpp, vLLM, TGI

   Ollama를 넘어설 만큼 자랐을 때 펼쳐볼 engine 지도야. Raw GGUF엔 llama.cpp server, 동시 throughput엔 vLLM, HuggingFace-native production엔 TGI, 그리고 engine을 안전하게 갈아끼우기 위한 호환성 test harness까지.

   Lesson list (4)

   • 01
     Ollama 너머 — engine map~18 min · serving, engines
   • 02
     llama.cpp server~22 min · serving, llamacpp, gguf
   • 03
     vLLM과 throughput~22 min · serving, vllm, throughput
   • 04
     OpenAI 호환성 test~18 min · serving, compatibility, openai

   ✓퀴즈 · 3 문제→

8. 08🔄The Adapter Pattern

   0/5 lessons

   Local을 cloud의 swap 가능 peer로

   좁은 인터페이스 하나, universal stream chunk 하나, 작은 모델을 위한 mini-mode, stateless session, 그리고 cloud→local fallback을 갖춘 multi-vessel orchestrator까지.

   Lesson list (5)

   • 01
     공통 AI Adapter 인터페이스~20 min · adapters, abstraction
   • 02
     OllamaAdapter 구현~26 min · adapters, ollama
   • 03
     모델 selection과 mini mode~18 min · adapters, selection
   • 04
     Stateless session과 remote Ollama~18 min · adapters, session, remote
   • 05
     Multi-vessel fallback~22 min · adapters, fallback, orchestration

   ✓퀴즈 · 4 문제→

9. 09⚙️Production Operations

   0/5 lessons

   튜닝, 벤치마크, 업데이트, ship

   성능 env var, 벤치마크 규율, 이 quest가 일부러 얕게 두고 가는 MLX 경계, 업데이트 위생, 그리고 작은 cloud-first / local-fallback 서비스를 end-to-end로 띄우기까지.

   Lesson list (5)

   • 01
     성능 튜닝~22 min · ops, performance
   • 02
     Local 벤치마크~18 min · ops, benchmark
   • 03
     MLX 경계~14 min · ops, mlx, boundary
   • 04
     업데이트 규율~14 min · ops, updates
   • 05
     Local AI fallback ship하기~22 min · ops, production, fallback

   ✓퀴즈 · 4 문제→