모델보다 데이터가 병목인 경우가 많아
운영 문제에서 성능을 가로막는 건 흔히 모델 구조가 아니야. 정답이 틀리거나 빠져 있고, 입력 특성이 늦게 도착하며, 학습 때 본 자료와 실제 서비스 자료의 성질이 다른 게 더 큰 문제지. 모델을 바꿔 얻는 작은 향상은 이런 결함 하나에 쉽게 사라져. 정답 자료에 일주일을 쓰고 모델에 하루를 쓴 팀이 그 반대로 일한 팀을 이기는 이유야. 좋은 모델은 나쁜 기록 체계를 치료하지 못해.
정답은 발견물이 아니라 제품이야
사람이 붙인 정답도 자연의 진실을 그대로 옮긴 값은 아니야. 어떤 증거를 보고 어떤 범주를 고를지 정한 정책의 결과지. 같은 사례를 두 숙련자가 다르게 판단한다면 모델이 배울 경계도 흔들려. 먼저 판정 기준, 예외, 보류 조건을 예시와 함께 적어. 새 담당자가 문서만 보고 같은 판단을 재현할 수 있어야 정답 체계가 된 거야.
효과가 큰 다섯 가지 손질
- 판정 안내서: 모호한 구호를 관찰 가능한 조건과 양성·음성 예시로 바꿔.
- 겹쳐 붙이기: 일부 사례는 두 명 이상이 서로의 답을 모른 채 판정하고 불일치율을 재.
- 보류 범주: 억지로 둘 중 하나를 고르게 하지 말고 ‘모르겠음’이나 ‘애매함’을 허용해.
- 품질 추적: 모델 지표처럼 판정자별 일치도, 수정률, 범주별 표본 수를 시간에 따라 봐.
- 희귀 사례 읽기: 모델링 전에 적은 범주와 경계 사례를 사람이 직접 펼쳐보고 정의가 맞는지 확인해.
데이터 중심 반복
데이터 중심 접근의 핵심은 모델 코드를 잠시 고정하고 자료를 체계적으로 개선해 변화의 원인을 분리하는 거야. 오답을 모아 판정 안내서를 고치고, 다시 붙인 정답으로 같은 모델을 학습한 뒤 범주별 변화를 비교해. 무작정 자료를 더 모으는 것보다 모델이 자주 틀리고 사람도 갈리는 구간을 골라 정리하는 편이 효율적이야.
소유자가 있어야 품질이 계속돼
정답 검토는 단순 입력 업무가 아니라 제품 정의와 통계 판단이 만나는 엔지니어링 일이야. 누가 안내서를 승인하고, 이견을 판정하며, 과거 자료를 언제 다시 붙일지 정해야 해. 이 책임이 없으면 자료가 커질수록 서로 다른 시대의 기준이 한 열에 섞여. 데이터 버전과 판정 정책 버전을 함께 남겨야 모델 변화도 설명할 수 있어. 품질에는 반드시 이름 있는 책임자가 필요해.