숫자 세 개로 결정 하나를 내려
프롬프트를 바꾸면 비용, 품질, 지연 시간 세 축에서 움직여. 비용은 토큰과 돈, 품질은 골든 세트 점수, 지연은 p95 밀리초로 재. 셋이 함께 좋아지는 경우는 드물고 대개 하나를 얻으며 다른 것을 내줘. 그 맞바꿈을 숨기지 마.
판단에 도움이 되는 비교
- 새 버전이 품질을 4% 높이고 p95를 800밀리초 늦춘다면 일괄 작업에는 값어치 있어도 채팅에는 안 맞아.
- 비용을 40% 줄이며 골든 세트에서 1% 잃었다면 대개 이득이야. 다만 잃은 사례가 위험한 요청인지 확인해.
- 작은 모델이 일상 입력에서는 같은 품질로 빠르지만 어려운 입력에서 떨어진다면 어려운 것만 큰 모델로 보내.
결정을 차트로 남겨
평가할 때 프롬프트마다 비용 대 품질, 지연 시간 대 품질 차트를 만들어. 그러면 이해관계자도 왜 그 버전을 골랐는지 볼 수 있어.