지표는 오차를 어떤 비용으로 셀지 정해
같은 예측 결과도 어떤 지표를 쓰느냐에 따라 좋은 모델과 나쁜 모델의 순서가 바뀔 수 있어. 지표는 중립적인 숫자가 아니라 어떤 실수를 더 심각하게 볼지 선언하는 함수야. 모델을 비교하기 전에 실제 업무에서 오차 크기와 방향이 만드는 비용을 적고, 그 모양을 닮은 지표를 골라야 해.
MAE는 오차를 원래 단위로 평균내
평균 절대 오차, MAE는 각 예측과 실제값의 거리 절댓값을 평균내. 목표값과 같은 단위라서 ‘평균적으로 3일 틀린다’처럼 설명하기 쉬워. 오차가 두 배면 벌점도 두 배라 극단치 몇 개가 전체 평가를 독점하는 현상이 비교적 적어. 모든 오차의 단위 비용이 비슷하다면 좋은 기본값이야.
RMSE는 큰 실패를 더 세게 벌해
평균 제곱근 오차, RMSE는 오차를 제곱해 평균낸 뒤 제곱근을 취해. 큰 오차가 작은 오차 여러 개보다 훨씬 큰 벌점을 받으므로 한 번의 대형 실패가 위험한 업무에 맞아. MAE와 RMSE를 함께 보고 차이가 크다면 소수의 큰 오차가 모델을 지배한다는 신호야. 어떤 사례인지 직접 열어봐야 해.
R²는 기준 평균과 비교한 상대 점수야
결정계수 R²는 모든 사례에 학습 자료의 평균을 예측하는 기준선보다 잔차 제곱합을 얼마나 줄였는지 보여줘. 1에 가까울수록 좋고, 0이면 평균 기준선과 비슷하며, 음수도 가능해. 단위가 없어 한 자료 안에서 설명하기 편하지만 서로 다른 목표와 표본을 가진 문제의 품질을 단순 비교하는 만능 점수는 아니야. 사업 비용도 직접 말해주지 않고.
비대칭 비용에는 비대칭 손실을 써
재고를 적게 예측하면 놓친 매출이 생기고 많이 예측하면 보관 비용이 생겨. 두 비용이 다르면 MAE와 RMSE처럼 대칭인 지표만으로 최선의 결정을 고를 수 없어. 과소예측에 더 큰 벌점을 주는 분위수 손실이나 실제 비용표를 구현한 사용자 정의 지표를 써. 평가 코드에 단가를 숨기지 말고 출처와 승인 시점을 남겨.
MAPE는 0 근처에서 무너져
평균 절대 백분율 오차, MAPE는 백분율이라 설명이 쉬워 보이지만 실제값이 0이면 정의되지 않고 0에 가까우면 작은 절대 오차도 엄청난 비율이 돼. 음수 목표에서도 해석이 어색해. 백분율이 꼭 필요하다면 SMAPE나 가중 MAPE를 검토하고, 원래 단위의 MAE와 구간별 오차를 함께 보고해.
평균 하나로 집단을 숨기지 마
전체 MAE가 좋아도 고가 상품, 새 사용자, 특정 지역에서 오차가 클 수 있어. 목표값 구간, 시간, 중요한 집단별로 같은 지표를 나눠 보고 표본 수도 함께 적어. 평균과 중앙값, 상위 90백분위 절대 오차를 같이 보면 일상적인 성능과 꼬리 위험을 분리할 수 있어.