성능 튜닝

의미 있는 다섯 환경변수

변수	하는 일	Default
`OLLAMA_FLASH_ATTENTION`	FlashAttention을 켜. 보통 한 방에 가장 크게 먹히는 성능 개선	off (`1`로 설정)
`OLLAMA_KV_CACHE_TYPE`	KV cache 양자화 (`q8_0`면 절반, `q4_0`면 1/4)	fp16
`OLLAMA_NUM_PARALLEL`	모델당 동시 request	1
`OLLAMA_MAX_LOADED_MODELS`	동시에 메모리에 있을 수 있는 모델 수	3
`OLLAMA_KEEP_ALIVE`	Request 후 모델 로드 유지 시간	`5m`

macOS에서 persist

macOS에서 Ollama는 launchd가 띄워. 그래서 shell에서 export한 건 안 보여. launchctl setenv로 env를 박아두고 Ollama service를 재시작해야 그걸 집어 가.

Context window 수학

동시 request가 늘면 KV cache도 그만큼 배로 불어나. num_ctx=8192에 NUM_PARALLEL=4면 실제로는 32K짜리 KV cache를 쓰는 거야. OLLAMA_KV_CACHE_TYPE=q8_0이 그걸 반으로 줄여주고. 대부분 모델 default num_ctx는 4096 — 실전엔 8192나 16384로 올려, 메모리 봐가면서.

Code

macOS에 persistent 튜닝·bash

# 다섯 knob 설정 (launchd 통해 재시작 후에도 persist)
launchctl setenv OLLAMA_FLASH_ATTENTION 1
launchctl setenv OLLAMA_KV_CACHE_TYPE q8_0
launchctl setenv OLLAMA_NUM_PARALLEL 2
launchctl setenv OLLAMA_MAX_LOADED_MODELS 3
launchctl setenv OLLAMA_KEEP_ALIVE 30m

# Ollama 재시작해서 daemon이 새 env 픽업
osascript -e 'tell application "Ollama" to quit'
open -a Ollama

# Daemon이 보는지 확인
curl -s http://localhost:11434/api/version
ps eauwx | grep -i ollama | head -1   # process listing에서 env 확인

Linux (systemd) 버전·bash

# Systemd unit 편집 — 공식 install이 여기 둠:
sudo systemctl edit ollama.service
# [Service] 아래 추가:
#   Environment="OLLAMA_FLASH_ATTENTION=1"
#   Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
#   Environment="OLLAMA_NUM_PARALLEL=2"
#   Environment="OLLAMA_MAX_LOADED_MODELS=3"
#   Environment="OLLAMA_KEEP_ALIVE=30m"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Exercise

머신에 다섯 env var 박아 (persistent — launchctl setenv 또는 systemd unit 편집). Ollama 재시작. 7B 모델에 같은 prompt 전후로 시간 재. 얼마나 빨라졌는지 적어둬. 10% 미만이면 하드웨어가 이미 한계까지 쓰이고 있다는 뜻이고, 그럴 땐 quant을 낮추거나 모델을 키우는 쪽이 더 남아.