분류 결과는 네 칸으로 돌아와
이진 분류의 모든 결과는 참양성(TP), 거짓양성(FP), 참음성(TN), 거짓음성(FN) 가운데 하나야. ‘양성’이 무엇인지 먼저 정해야 이름이 의미를 가져. 질병 발견에서는 질병이 양성이고, 정상 거래 차단 문제에서는 차단 대상 거래를 양성으로 둘 수 있어. 방향을 바꾸면 정밀도와 재현율 해석도 바뀌니 보고서 첫 줄에 양성 범주를 적어.
네 칸을 실제 사건으로 번역해
- 참양성: 실제 양성을 찾아 행동했고 그 판단이 맞았어.
- 거짓양성: 음성을 양성으로 잘못 판단해 불필요한 행동이나 검토 비용이 생겨.
- 참음성: 음성을 그대로 두었고 판단이 맞았어.
- 거짓음성: 실제 양성을 놓쳐 필요한 행동을 하지 못했어.
모델 평가 회의에서는 약어보다 ‘사기 거래를 놓침 37건’처럼 사건과 건수로 말해야 비용과 책임이 보여.
정밀도는 경보를 믿을 수 있는지 묻는다
정밀도는 TP를 TP와 FP의 합으로 나눈 값이야. 모델이 양성이라고 부른 것 가운데 실제 양성의 비율이지. 검토팀이 하루에 적은 경보만 처리하거나 잘못된 제재가 큰 피해를 낸다면 정밀도가 중요해. 다만 문턱을 아주 높여 한두 건만 고르면 쉽게 높아질 수 있으므로 재현율과 건수를 함께 봐야 해.
재현율은 실제 양성을 얼마나 찾았는지 묻는다
재현율은 TP를 TP와 FN의 합으로 나눈 값이야. 실제 양성 가운데 모델이 찾아낸 비율이지. 암 선별이나 큰 사기 탐지처럼 놓침이 위험할 때 중요해. 모든 사례를 양성으로 부르면 재현율은 1이 되므로 역시 정밀도와 거짓양성 부담을 함께 봐야 해.
F1과 정확도의 가정
F1은 정밀도와 재현율의 조화평균이라 둘 중 낮은 값에 민감해. 하지만 거짓양성과 거짓음성의 비용을 같게 본다는 가정이 숨어 있고 참음성은 사용하지 않아. 정확도는 전체 가운데 맞힌 비율이라 범주가 비슷하고 두 오류 비용도 비슷할 때만 직관적이야. 양성이 1%라면 아무 행동도 하지 않는 모델도 99% 정확도를 얻을 수 있어.
행과 열로 정규화하면 다른 질문이 보여
실제 범주 기준으로 행을 정규화한 혼동행렬은 각 범주의 재현율을 보여줘. 예측 범주 기준으로 열을 정규화하면 각 예측의 정밀도를 읽을 수 있어. 원시 건수도 반드시 함께 두어야 표본 열 개의 90%와 만 건의 90%를 같은 확신으로 보지 않아.
행렬을 오류 분석의 입구로 써
단일 지표 전에 혼동행렬과 범주별 보고서를 출력하고 가장 비싼 칸의 실제 사례를 뽑아 읽어. 어려운 사례인지, 정답이 애매한지, 자료나 파이프라인 오류인지 나눠야 처방이 보여. 문턱을 바꾸면 네 칸도 바뀌므로 운영 문턱에서 행렬을 다시 계산해.