그럴듯한 아이디어로 꽉 찬 하루, 전부 틀림
이 트랙의 측정이 존재하기 전에, 첫 트랙이 서술한 결함을 잡는 기계적 탐지기를 짓느라 하루가 통째로 들어갔어. 시도한 대리 지표 전부 합리적이었어. 전부 실패했고, 그 실패들이 아무도 못 지우는 표에 기록돼 있어.
얇은 내용. 절 길이가 바닥 밑으로 떨어지는 항목을 표시하기. 결과. 이 검사가 읽을 수 있는 형식이던 일흔일곱 개 중 예순아홉 개랑 수천 개 절이 표시됐어. 코퍼스에 색칠하고 아무 순서도 안 매겨.
구두점 표지. 결함의 지문처럼 느껴지던 특정 구성을 찾기. 결과. 일흔일곱 중 예순여섯 개 항목, 히트 천오백 개 넘음, 그리고 그 히트를 완전히 정당한 용법이 지배했어.
어휘집 없는 비단어 탐지기. 영리했어. 망가진 구성에서만 같이 나타나는 문법 패턴 둘에 쓰인 단어를 찾고, 희귀도로 걸러. 결과. 후보 서른 개, 진짜 양성 하나. 삼 퍼센트고, 거짓 양성들은 평범한 단어였어.
기존 선별 검사를 순위 매기기에 재사용. 결과. 상관관계가 아예 없음. 검사에서 높게 나온 항목이 이미 청소된 항목보다 진짜 지적이 평균적으로 적었어.
표를 왜 간직해야 하냐면
부고로 두는 게 아냐. 저 아이디어 하나하나가 유능한 사람이 첫날에 손 뻗는 것들이고, 그 말은 기록이 없으면 다음 사람이 그중 하나를 다시 짓느라 똑같은 하루를 쓰고 똑같은 숫자에 도달한다는 뜻이야.
그러니 줄마다 뭘 쟀고, 결과가 뭐였고, 그리고 사람들이 빼먹는 부분인데 왜 실패했는지를 한 문장으로 실어야 해. "상관관계 없음"은 결과야. "정당한 용법이 지배함. 그 구성이 이 언어가 평범한 복합어를 만드는 방식이기도 해서"는 이유고, 이유는 숫자가 못 하는 방식으로 다음 아이디어에 옮겨가.
이 표를 읽을 때 그어야 할 선
중요한 단서가 하나 있고, 거꾸로 읽기 쉬워. 이 표는 기계적 탐지가 불가능하다는 증거가 아냐. 대조할 게 아무것도 없는 상태에서 시도된 대리 지표들의 기록이야. 하나하나가 결함이 어떻게 생겼을지에 대한 추측이었고, 산출물이 그럴듯한지로 평가됐어.
기준 진실이 생긴 순간 같은 연습이 실제로 통하는 걸 하나 만들어냈어. 독자가 점수 매긴 항목 묶음이 그 기준 진실이었고. 그게 진짜 교훈이야. 그 대리 지표들이 실패한 건 이 영역이 측정을 거부해서가 아냐. 자기가 틀렸다고 말해줄 게 존재하기 전에 지어졌기 때문이야.