한 번의 판정 모델 호출로 여러 점수 얻기
실제 출력은 대부분 한 가지 기준만으로 통과와 실패를 가를 수 없어. 정확성과 완전성은 물론, 어조가 적절하고 안전하기까지 해야 하지. 판정 모델을 기준별로 네 번 호출할 수도 있지만, 잘 설계된 다기준 프롬프트라면 한 번의 호출로 각 축의 점수를 구조화해 반환할 수 있어.
다기준 판정 모델의 구조
- 프롬프트 상단에 각 기준과 정의를 명확하게 나열해.
- 보정이 중요하다면 기준별 예시를 제공해.
- 각 기준을 이름이 있는 필드로 담은 JSON처럼 구조화된 출력을 요구해.
- 점수를 주기 전에 축별 근거를 먼저 쓰게 해. 판정에 앞서 근거를 제시하게 하는 거야.
한 번의 호출이 N번의 호출보다 나은 이유
- 비용이 더 적게 들어. 왕복도 한 번, 입력 비용도 한 번이면 돼.
- 맥락이 일관돼. 판정 모델이 모든 기준을 한꺼번에 보므로 결과의 편차가 줄어들어.
- 기록하기 쉬워. 사례마다 구조화된 결과 하나만 저장하면 돼.
N번의 호출이 더 나을 때도 있는 이유
- 기준이 매우 미묘하면 판정 모델이 여러 축에 주의를 고르게 배분하지 못할 수 있어. 한 번의 호출에서는 각 기준이 희석되지만, 축별로 호출하면 하나의 기준에 집중할 수 있지.
- 기준마다 다른 판정 모델이 필요할 수도 있어. 정확성에는 성능이 뛰어난 모델을 쓰고, 형식 검사에는 빠르고 저렴한 모델을 쓰는 식이야.
- 축별 프롬프트는 여러 제품에서 재사용하기 쉬워.
원칙: 다기준 호출 한 번을 기본으로 사용해. 결합된 호출이 특정 기준을 놓친다는 보정 근거가 있을 때만 축별 호출로 분리해.