학습은 오히려 쉬운 부분이야
첫 모델은 일주일 만에 나올 수 있어. 문제는 그다음 1년이야. 실제 비용은 정답 자료를 만드는 과정, 입력 특성을 계산하는 파이프라인, 데이터 변화 감시, 재학습 일정, 장애 때 되돌리는 절차, 당직과 경보, 그리고 원작자를 깨우지 않고도 새 담당자가 고칠 수 있게 하는 문서에서 생겨. 노트북의 정확도는 시작 가격일 뿐이고 운영 체계가 총소유비용을 결정해.
생애주기 청구서
- 데이터: 수집 권한, 정제, 정답 부여, 품질 검사와 계보 추적이 계속 필요해.
- 특성: 학습과 운영이 같은 계산을 쓰는지 보장하고, 최신성 약속과 과거 자료 재처리 방법을 정해야 해.
- 학습: 계산 자원, 실험 기록, 초매개변수 탐색, 재현 가능한 환경에 비용이 들어.
- 제공: 응답 시간, 자동 확장, 점진 배포, 장애 때 사용할 기존 규칙이나 이전 모델이 필요하지.
- 감시: 입력과 출력의 변화, 확률 보정, 지연되어 도착하는 실제 정답, 최종 사업 지표를 함께 봐야 해.
- 책임: 모델 카드, 승인 기록, 감사 자료, 폐기 조건과 담당자를 남겨야 해.
숨은 결합도
입력 열 하나의 의미가 바뀌면 학습 코드만 고쳐서는 끝나지 않아. 수집기, 특성 저장소, 제공 서비스, 대시보드, 경보 기준까지 함께 움직여야 해. 이 결합을 문서와 자동 검사로 드러내지 않으면 작은 변경이 조용한 성능 하락으로 번져. 특히 실제 정답이 몇 주 뒤에 들어오는 문제에서는 한동안 아무 경보도 울리지 않을 수 있어.
정직한 계획 세우기
모델을 약속하기 전에 각 항목의 사람, 시간, 돈을 따로 추정해. 누가 데이터 품질을 보고, 언제 재학습하며, 어떤 수치에서 이전 버전으로 돌아갈지 이름까지 적어야 해. 팀이 감시를 맡을 여력이 없다면 모델은 서서히 나빠지고, 되돌릴 길이 없다면 첫 나쁜 날이 마지막 좋은 주가 돼. 운영 비용을 감당할 수 없는 아이디어를 접는 것도 훌륭한 기술 판단이야. 최소한 한 명은 모델을 끄는 권한과 판단 기준을 분명히 가져야 해.
종료 비용도 처음에 적어
모델을 더는 쓰지 않을 때 호출을 누가 제거하고, 저장한 특성과 예측 기록을 언제 지우며, 의존하던 업무를 무엇으로 되돌릴지도 비용이야. 폐기 조건과 자료 보존 기간까지 있어야 생애주기가 닫혀.