분류는 범주보다 점수에서 시작해
분류기는 보통 ‘해지’나 ‘유지’라는 글자를 바로 만드는 게 아니라 각 범주에 대한 점수나 확률을 내. 그 점수가 정한 문턱을 넘을 때 행동용 범주로 바뀌는 거야. 따라서 모델의 주된 출력은 확률이고 최종 범주는 후속 결정이야. 둘을 분리하면 같은 모델을 두고도 업무 비용과 처리 능력에 따라 다른 문턱을 적용할 수 있어.
확률이 정말 확률인지 확인해
점수 0.8인 사례 열 개 가운데 실제 양성이 여덟 개쯤이어야 0.8을 확률로 읽을 수 있어. 순위는 잘 매겨도 확률이 지나치게 자신만만하거나 소심한 모델이 많아. 신뢰도 그림과 Brier 점수로 보정을 확인하고 필요하면 독립 검증 자료에서 Platt scaling이나 isotonic regression을 적용해. 문턱 비용 계산은 보정된 확률일 때 더 믿을 만해.
로지스틱 회귀를 기준선으로 둬
로지스틱 회귀는 입력의 선형 결합을 로짓으로 바꿔 0과 1 사이 값을 내는 선형 분류기야. 학습과 제공이 빠르고, 규제와 함께 작은 자료에서도 안정적이며, 계수를 로그 승산 변화로 해석할 수 있어. 표 형태 자료에서 늘 최고는 아니지만 복잡한 모델이 넘어야 할 성능과 운영 비용의 바닥을 만들어 줘. 지나치게 높은 점수가 나오면 누출을 일찍 의심하게도 하고.
이진 분류만 있는 게 아니야
- 이진 분류: 두 범주 가운데 하나를 고르며 보통 양성 범주의 확률을 중심으로 평가해.
- 다중 범주 분류: K개 범주 중 정확히 하나를 고르고 전체 확률 합은 1이 돼.
- 다중 표지 분류: 한 사례에 여러 표지가 동시에 붙을 수 있어 표지마다 별도 확률과 문턱이 필요해.
- 순서형 분류: ‘나쁨·보통·좋음’처럼 범주 사이 순서가 있어 멀리 틀린 오류를 더 크게 다뤄야 해.
문제 틀을 모델 전에 고정해
‘문의 분류’가 부서 하나만 고르는 일인지 여러 주제를 함께 표시하는 일인지에 따라 목표 자료와 손실 함수가 달라져. 순서가 있는 등급을 임의 번호로 회귀 처리하면 범주 간 거리가 같다는 거짓 가정을 넣을 수 있어. 한 사례에 허용되는 정답 수, 미지 범주, 보류 처리, 오류 비용을 먼저 계약해.
기준선도 실제 운영점에서 비교해
ROC-AUC 하나만 비교하지 말고 관심 문턱의 정밀도, 재현율, 경보 건수, 확률 보정을 함께 봐. 복잡한 모델이 순위를 조금 더 잘 매겨도 보정이 나쁘거나 제공 시간이 길 수 있어. 최종 범주뿐 아니라 원래 점수, 사용한 문턱, 모델 버전을 기록해야 나중에 정책과 모델 오류를 분리할 수 있어.