리뷰를 작동하게 만드는 비대칭
사람들을 계속 놀라게 하는 발견이 있어. 계속 놀라는 그 사람들도 예외가 아냐. 같은 시스템이 집필 모드에선 못 막은 걸 리뷰 모드에선 유죄 판결해. 한 시간 전에 자기가 뽑은 초고를, 새 맥락에서, 뭐가 잘못됐는지 찾으라는 지시랑 같이 건네면 진짜 결함을 찾아내. 방금 자기가 쓴 바로 그것들에서도 찾아내.
역설도 아니고 불안정하다는 신호도 아냐. 쓰기랑 판정하기는 입력이 서로 다른 작업이야. 쓰기는 생성적이고 방 안의 모든 것에 조건 걸려. 기대지 말라던 그 원본까지 조건이 돼. 판정하기는 결과물에 조건 걸리고 다른 질문을 물어. 같은 능력, 다른 모드, 진짜로 다른 결과.
이게 네가 짓는 것에 왜 중요하냐면
탐지가 생성만큼 불안정했으면 이 설계 전체가 무너져. 저자랑 리뷰어를 가를 이유가 없어지거든. 리뷰어가 저자의 맹점을 재생산할 테니까. 이 설계가 되는 이유는 그게 거짓이라서야. 변수는 능력이 아니라 오염이고, 새 맥락이 표본 여러 개를 짚어내면 그것만으로 믿을 만해. 두 번째 독자는 첫 번째가 맥락 때문에 못 본 걸 재주지 않아.
이게 뭘 안 지을지를 정해주고, 그게 뭘 지을지보다 값어치 있어. 합의 패널 없음. 리뷰어 둘 평균 없음. 평가자 간 신뢰도 계수 없음. 그 계기들은 판정자에 대한 불확실성을 수량화하려고 존재하는데, 여기 불확실성은 맥락에 대한 거야. 판정자를 하나 더 붙여도 그건 안 재져. 오염 안 된 독자의 단일 읽기는 확인을 기다리는 잠정 발견이 아니라 결과야.
공학은 봉인에 들어가
읽기가 믿을 만한 절반이라는 걸 받아들이면 공학 노력을 어디 쓸지가 분명해져. 그 독자가 실제로 오염 안 됐는지를 확실히 하는 데. 세 번째 트랙 전체가 그 얘기였고. 독자들끼리 교차 검증하는 데 쓰는 건 전부 엉뚱한 변수를 재는 데 쓰는 거야.
그리고 본능이 반대로 간다는 걸 알아둘 값어치가 있어. 놀라운 점수 묶음을 봤을 때 첫 반응은 채점자를 의심하고 두 번째 의견을 찾는 거야. 그 본능은 전제가 성립 안 하는 방법론을 수입해 오는 거고, 따라가면 전체 패스 하나를 더 쓰고도 배우는 게 없고.