직선 하나에서 초평면으로
입력 특성이 하나면 선형 회귀는 점 구름을 가로지르는 직선을 맞춰. 특성이 둘이면 평면, 더 많으면 눈으로 그릴 수 없는 초평면이 돼. 예측값은 절편에 각 특성과 계수의 곱을 더한 값이야. 이 덧셈 구조 덕분에 어떤 입력이 얼마만큼 예측에 기여했는지 비교적 쉽게 추적할 수 있어.
계수는 조건부 변화량이야
한 계수는 다른 특성을 같은 값으로 둔다고 가정했을 때 해당 특성이 한 단위 커질 때 예측값이 얼마나 변하는지를 뜻해. 그래서 단위가 중요해. 연봉을 원 단위로 넣은 계수와 백만원 단위로 넣은 계수의 숫자는 달라도 예측은 같을 수 있어. 스케일을 맞춘 계수는 상대 크기를 비교하기 쉽지만 원래 단위의 설명은 따로 되돌려야 해.
절편도 입력 공간 안에서 읽어
절편은 모든 특성이 0일 때의 예측값이야. 나이 0세, 연봉 0원처럼 자료에 존재하지 않는 조합이라면 현실 의미를 억지로 붙이지 마. 수치 특성을 평균 중심으로 옮기면 절편은 평균적인 입력에서의 예측에 가까워져 설명이 쉬워. 범주 기준값과 변환 방식도 함께 알아야 절편을 올바르게 읽을 수 있어.
빠르고 강한 기준선인 이유
선형 회귀는 학습과 예측이 빠르고, 작은 자료에서도 비교적 안정적이며, 결과를 비기술 담당자에게 설명하기 쉬워. 입력 변화가 조금 생겨도 복잡한 경계보다 동작을 예상하기 쉽지. 그래서 출시 가능한 성능의 바닥으로 삼기 좋아. 더 복잡한 모델은 관심 지표에서 이 기준선을 충분히 이기고 그 차이가 계산·감시·설명 비용을 정당화해야 해.
직선 관계를 그냥 가정하지 마
산점도와 잔차를 보고 관계가 대략 덧셈형인지 확인해. 로그 변환, 비율, 상호작용 항처럼 도메인에 맞는 특성을 만들면 원래는 굽은 관계도 선형 모델로 잘 표현할 수 있어. 다만 무작정 다항식 항을 늘리면 열 수와 과적합이 빠르게 커지므로 교차검증과 규제가 필요해.
계수는 원인 증명이 아니야
days_since_signup의 양수 계수는 가입 기간을 인위적으로 늘리면 결과가 커진다는 뜻이 아니야. 다른 관측 특성이 같은 고객들 사이에서 가입 기간이 긴 사례의 예측이 더 높다는 상관관계야. 빠진 변수, 선택 편향, 역인과가 모두 계수를 바꿀 수 있어. 예측 모델의 설명을 정책 개입의 근거로 바로 옮기지 마.
서로 닮은 특성은 설명을 흔들어
매출과 주문 수처럼 강하게 연관된 특성이 함께 들어가면 모델은 둘 사이에 기여를 여러 방식으로 나눌 수 있어. 전체 예측은 안정적이어도 개별 계수의 부호와 크기는 자료 표본에 따라 크게 달라질 수 있지. 상관행렬, 분산팽창계수, 재표본 계수 변화를 보고, 설명이 목적이라면 중복 특성을 합치거나 규제를 써.