품질은 조언이야

"깨끗해 보이는 transcript 도 완벽하고 유창하게 틀릴 수 있어."

품질 체크가 실제로 재는 것

Recall 은 transcript 를 받아들일 때 구조 품질 평가를 돌려. 진짜 쓸모 있어. 망가진 전사에서 나타나는 특징적인 모양을 잡아내거든.

반복 segment — 같은 줄 40번, model 이 침묵에서 loop 도는 고전적 서명.
긴 반복 span — 사람이라면 진작 멈췄을 지점을 한참 지나서도 이어지는 구절.
타임스탬프 역행 — 뒤로 가는 타임스탬프, projection 이 헷갈렸다는 뜻.
알려진 상투구 — 아무것도 안 들릴 때 model 이 내뱉는 boilerplate hallucination("시청해주셔서 감사합니다", 자막 크레딧 filler).

다 진짜 신호야. severe 로 표시된 release 는 요약 생성이 막히기도 해. 쓰레기를 요약하면 자신만만한 쓰레기가 나오니까. 그래서 품질 체크는 제 몫을 해.

근데 그건 진실이 아니라 모양을 재

넘으면 안 되는 선은 여기야. 구조 품질이 재는 건 텍스트의 모양이지 정확성이 아냐. 그리고 이 둘은 양쪽으로 다 갈라져.

transcript 가 구조적으로는 티끌 하나 없으면서 틀릴 수 있어. 반복도 없고, 타임스탬프도 깨끗하고, 상투구도 없는데 말이야. model 이 이름을 아주 유창하게 잘못 들을 수 있거든. 모양에는 그게 안 드러나.
반대로 구조적으로 지저분한 transcript 가 — 반복 몇 개, 이상한 span 하나 — 네가 찾는 순간을 찾는 데는 아무 문제 없을 수도 있고.

그래서 품질 점수는 조언이야. 사람 리뷰어한테 정보를 주고, 비싼 파생 단계를 gate 할 수 있어. 하지만 정확성의 증명은 아니고, transcript 를 '지식이 될 만큼 좋다' 로 절대 자동 승격시키지 않아. 다음 트랙이 통째로 이 불변식 위에 지어졌고. 깨끗한 구조 점수와 '소스로 믿을 만하다' 는 서로 다른 판단이고, 기계가 내릴 수 있는 건 앞엣것뿐이야.

이 자제가 왜 중요해

초록색 품질 점수를 '승인' 으로 삼고 싶어 죽겠지. 자동이고, 싸고, 객관적으로 느껴지니까. 그게 정확히 함정이고. proxy 지표가 승인 gate 가 되는 순간, '정확하다' 를 '구조 체크를 통과했다' 로 슬그머니 다시 정의한 거야. 그럼 유창한 hallucination 은 죄다 그대로 통과하고. Recall 은 지표를 제 차선에 묶어둬. 사람이 양쪽으로 다 뒤집을 수 있는 조언자일 뿐, 재판관은 아니라고. 이 구별은 기억해 둬. 트랙 7 이 이걸 '완료' 와 '승인' 사이의 단단한 벽으로 바꿔놓거든.

Code

품질은 비싼 단계를 gate 할 뿐, 진실을 승인하진 않아·python

assessment = {
    'flags': ['repeated_segment', 'stock_phrase'],
    'severity': 'severe',  # 조언일 뿐
}

# 정당한 사용: 비싼 파생 단계를 gate.
if assessment['severity'] == 'severe':
    skip_summary_generation(release)   # 쓰레기를 요약하지 마

# 금지된 사용: 깨끗한 점수를 승인으로 취급.
if assessment['severity'] == 'clean':
    approve_for_corpus(release)   # 안 돼. 모양 != 진실.
                                  # 유창한 오청도 'clean' 이야.
# 구조 품질은 사람에게 정보를 줘; 절대 자동 승인 안 해.

Exercise

네 세계에서 자동 품질 점수를 찾아봐. lint pass, coverage 퍼센트, health check, 스팸 점수 같은 거. 두 가지를 물어. 통과 점수가 그게 실제로 정확하다는 걸 증명해? 그리고 그 점수가 어딘가에서 자동 승인으로 쓰이고 있어? 초록 점수가 뭔가를 조용히 승인하고 있으면, 모양은 깨끗한데 실체는 틀린 경우를 찾아봐. 그리고 진짜 중요한 결정에는 사람이 판단하는 단계를 더해.

Hint

위험한 패턴은 '점수가 초록이니까 ship 하고, 승인하고, 믿는다' 야. 두 역할을 갈라놔. 지표한테는 뻔한 쓰레기를 막고 리뷰어한테 정보를 주는 일을 맡기고, 진짜 승인, 그러니까 '이게 목적에 정말 충분한가' 는 지표가 조언만 하는 판단 쪽으로 넘겨. 모양이 깨끗한 것과 실체가 믿을 만한 건 다른 질문이야.