Size-vs-prompt 미스매치
작은 모델 (1B–3B)은 길고 겹겹이 쌓인 system prompt에 약해. 잘 못 따라가고, 중간에 딴 데로 새고, 시키는 일을 하는 대신 자기 얘기를 늘어놓는 일이 잦아. 큰 모델 (32B+)은 빽빽한 system prompt도 자연스럽게 소화하고. 그러니까 adapter가 지금 어떤 size를 상대하는지 알고 system prompt를 맞춰줘야 해.
Mini mode
"Mini mode"는 하나의 관례야. 지금 쓰는 모델이 작으면 확 덜어낸 system prompt로 갈아 끼우는 거지. Plan은 남기고 철학은 빼. 형식은 남기고 톤 조율은 빼고.
Metadata 어디서 와?
/api/tags가 설치된 각 모델의 details.parameter_size ("7B", "32B", "1.5B") 반환. 그걸 읽어서 mini / standard / large로 나누고, prompt를 거기에 맞춰 태워 보내.
분류 reinvent하지 마
세 칸이면 충분해. mini (≤3B), standard (4–14B), large (≥15B). 칸을 더 쪼개봐야 얻는 건 거의 없고 if/else만 길어져.