일반화 오차를 세 부분으로 생각해
같은 현실에서 학습 자료를 여러 번 새로 뽑아 모델을 만든다고 상상해 봐. 평균 예측이 진짜 관계에서 체계적으로 멀리 떨어지는 정도가 편향이고, 자료 표본이 바뀔 때 예측이 흔들리는 정도가 분산이야. 아무리 좋은 입력과 모델도 설명할 수 없는 우연은 제거 불가능한 잡음이 되고. 제곱 오차에서는 일반화 오차를 편향의 제곱, 분산, 잡음의 합으로 이해할 수 있어.
높은 편향은 중요한 구조를 놓쳐
너무 얕은 나무나 굽은 관계에 쓴 단순 선형 모델은 평균적으로 같은 방향으로 틀릴 수 있어. 학습 자료에서도 점수가 낮고 검증 점수도 비슷하게 낮은 과소적합 모양이 나타나. 더 나은 특성, 상호작용, 유연한 모델, 약한 규제가 편향을 줄이는 손잡이야. 자료를 무한히 더 모아도 표현이 틀렸다면 개선에는 한계가 있어.
높은 분산은 자료의 우연을 좇아
깊은 결정나무처럼 용량이 큰 모델은 학습 표본에 아주 잘 맞지만 표본이 조금 바뀌면 전혀 다른 규칙을 만들 수 있어. 학습 점수는 높고 검증 점수는 낮으며, 씨앗이나 폴드에 따른 점수 흔들림도 커져. 자료 추가, 규제, 모델 단순화, 배깅이 분산을 줄이는 대표적인 방법이야.
손잡이는 한쪽을 줄이며 다른 쪽을 늘릴 수 있어
- 규제: 가능한 해를 제한해 분산을 낮추지만 너무 강하면 편향을 높여.
- 자료 추가: 같은 모델에서 표본 우연의 영향, 즉 분산을 주로 낮춰.
- 배깅: 서로 다른 표본으로 학습한 고분산 모델을 평균내 흔들림을 줄여.
- 부스팅: 앞선 모델의 남은 오류를 차례로 보정해 편향을 낮추지만 오래 학습하면 분산이 커질 수 있어.
무작위 숲이 분산을 낮추는 이유
깊은 나무 하나는 자료 변화에 민감하지만 부트스트랩 표본과 무작위 특성 부분집합으로 만든 많은 나무의 예측을 평균내면 개별 나무의 우연이 상쇄돼. 나무들이 완전히 같은 실수를 하면 평균의 이득이 없으므로 특성 무작위화로 서로의 상관을 낮춰. 편향을 크게 늘리지 않고 분산을 줄이는 배깅의 전형이야.
부스팅은 남은 편향을 차례로 깎아
부스팅은 약한 나무를 독립적으로 평균내지 않고 이전 앙상블이 놓친 잔차나 손실 기울기에 다음 나무를 맞춰. 복잡한 관계를 단계적으로 표현해 편향을 낮추지. 학습률을 작게 하고 검증 자료로 일찍 멈춰야 잡음까지 쫓는 일을 줄일 수 있어.
프레임은 다음 실험을 고르는 데 써
높은 학습 점수와 낮은 검증 점수는 분산을, 둘 다 낮은 점수는 편향을 의심하게 해. 하지만 분포 이동과 누출, 잘못된 지표도 비슷한 모양을 만들 수 있으니 자료 경계부터 확인해야 해. 여러 씨앗과 폴드에서 학습·검증 점수를 보고 지배적인 실패 하나를 정한 뒤 그에 맞는 손잡이 하나만 시험해.