지금 어느 칸에 서 있을까
- 시연 — 프롬프트가 코드 속 문자열이고 사례 하나에서 출력이 좋아 보여.
- 작동 — 프롬프트가 파일에 있고 기본 평가 모음은 있지만 모델 하나뿐이며 대체 경로가 없어.
- 신뢰 가능 — 버전, CI 평가 관문, 기록, 되돌리기 플래그, 주 모델의 대체 경로가 있어.
- 운영됨 — 전체 원격 측정, 비용 화면, 카나리 배포, 연습한 사고 절차, 실패를 시험으로 바꾸는 평가 발굴 흐름이 있어.
- 공학화 — 여러 제공업체 어댑터, 요청별 분기, 비용·품질·지연 보고, 레드팀 평가, 분기별 프롬프트 재작성, 문서화한 불변식이 있어.
한 칸씩 올라가
한 단계에는 한두 분기가 걸릴 수 있어. 모든 시스템이 마지막 칸까지 갈 필요는 없고 실패 비용에 맞춰야 해. 홍보 문구 생성기는 ‘작동’이면 충분할 수 있지만 환불 결정 에이전트는 ‘운영됨’이나 ‘공학화’가 필요해.
이 퀘스트가 남기는 것
모든 트랙과 연습을 마쳤다면 공학화에 필요한 부품 목록을 가진 셈이야. 이제 각자의 시스템에 연결해야 하고 일은 끝나지 않아. 시스템은 살아 있고 제공업체와 위협은 계속 움직이니까.