단일 지표로 진실을 말할 수 없을 때
때로는 정확성, 안전성, 간결성을 가중 결합한 뒤 형식 준수 여부를 곱하는 방식이 적절해. 이게 종합 점수야. 만들기는 간단하지만 계산 방식에는 지켜야 할 규칙이 있어.
종합 점수 설계 규칙
- 각 구성 요소는 0~1 범위의 점수여야 해. 백분율과 원시 개수를 섞으면 의미 없는 결과가 나와.
- 치명적인 차원에는 가중 평균보다 필수 관문을 적용해야 해. 안전성에 실패하면 몇 점만 빼지 말고 전체 점수에 0을 곱해.
- 각 구성 요소를 항상 기록해. 종합 점수만 남기면 안 돼. 종합 점수는 대표값이고, 구성 요소는 진단 정보야.
- 가중치를 신중하게 고르고 그 근거를 적어. “정확성 0.5, 형식 0.3, 간결성 0.2 — 사용자는 답이 긴 경우보다 답이 틀린 경우에 두 배 더 자주 불평하니까.”
원칙: 종합 점수는 여러 측정값을 요약해야지, 그 측정값을 대체해서는 안 돼. 각 구성 요소를 항상 함께 보여줘.
가중 평균과 곱셈 방식
가중 평균: 구성 요소가 서로 독립적이고 보완 가능할 때 적합해. 예를 들어 더 높은 간결성이 약간 낮은 일관성을 보완할 수 있어.
곱셈 방식: 한 차원의 실패가 치명적일 때 적합해. 답이 아무리 훌륭해도 안전성 점수가 0이면 종합 점수도 0이 되는 방식이야.
실제 종합 점수는 대부분 안전성과 형식에는 곱셈 방식의 관문을 적용하고, 품질 차원에는 가중 평균을 적용하는 구조야.
종합 점수의 대가 — 보정과 분포 변화
종합 점수가 “정확성 * 0.5 + 간결성 * 0.5”이고 팀이 이를 최적화하면, 간결하지만 틀린 답이 높은 종합 점수를 받을 수 있어. 종합 점수는 원한 바를 측정하지 않은 게 아니라, 팀에 최대화하라고 한 대상을 측정한 셈이야. 분기마다 종합 점수를 사람의 평점과 대조해 다시 점검해.