파일 이름은 증거가 아냐

"모델한테 'lens.jpg 라는 사진이 있어' 라고 말할 순 있어. 근데 그 문장은 사진이 아냐. 모델은 파일 이름을 볼 수가 없거든."

되는 것처럼 보이는 버그

멀티모달에서 제일 솔깃하게 사람을 속이는 실패가 이거야. 이미지를 붙였는데, 파이프라인 어딘가에서 코드가 실제 이미지 데이터 대신 User attached: lens.jpg 같은 메시지를 모델한테 보내. 파일 이름에 크기나 캡션 정도가 붙은 문장을. 모델은 워낙 상냥한 대화 상대라 알아들은 것처럼 답하고. '그 렌즈는 35mm 단렌즈 같네.' 비전이 된 것처럼 보이지. 안 된 거야. 모델은 lens.jpg 라는 글자를 보고, 본 적도 없는 렌즈에 대해 그럴듯한 답을 즉석에서 지어낸 거거든. 이 버그가 안 보이는 이유는 딱 하나야. 모델이 유능한 척해 줄 만큼 예의 바르다는 거.

비전이 실제로 요구하는 것

모델이 이미지를 진짜로 보려면 세 가지가 adapter 까지 같이 닿아야 해.

바이트. 진짜로 디코딩된 이미지 데이터. 경로도 아니고, 모델이 가져올 수도 없는 URL 도 아니고, 설명도 아니고.
media type. image/jpeg 나 image/png 같은 거. 바이트를 제대로 해석하라고 붙여 주는 거야. 뒤 레슨에서 더 파고들고.
제자리에 넣기. 이미지는 adapter 가 기대하는 모양대로 요청의 이미지 파트에 실려야 해. 텍스트 안에 슬쩍 언급으로 끼워 넣는 게 아니라.

이보다 모자라면 비전이 아냐. 파일 이름, 캡션, alt 텍스트, '[여기 이미지]' 토큰. 이건 전부 이미지에 대한 텍스트야. 그리고 이미지에 대한 텍스트는 비전 모델한테, 전화로 읽어 준 설명만큼만 쓸모 있어. 없는 것보단 낫지만 직접 보는 거랑은 아예 종류가 다르지.

곁다리냐 대체냐

해법이 파일 이름이랑 캡션을 금지하는 건 아냐. 진짜 바이트 옆에 나란히 있으면 꽤 쓸모 있는 곁다리 정보거든. 규칙은 그것들이 절대 바이트를 대신하면 안 된다는 거야. 실제 이미지 데이터를 이미지로 보내면서 파일 이름도 힌트로 얹고 싶으면, 그건 괜찮아. 문제가 되는 건 힌트가 데이터 대신 갈 때야. 그리고 예의 바른 모델이 그 빈틈을 너무 잘 메워 줘서, 눈이 애초에 안 떠졌다는 걸 아무도 눈치 못 챌 때고. '모델이 이미지에 대해 답했다' 는 걸 이미지를 봤다는 증거로 치지 마. 증거는 딱 하나야. 진짜 바이트가 adapter 에 닿았다는 것.

Code

이미지에 대한 텍스트는 이미지가 아니다·typescript

// 틀림: 모델이 그림이 아니라 문장을 받음.
const message = {
  role: "user",
  content: `질문: ${q}\n첨부: ${file.name}`, // 그냥 파일 이름 문자열
};
// 모델은 받은 적 없는 이미지에 대해 기꺼이 '답'할 거야.

// 맞음: 진짜 바이트랑 media type 이 이미지 파트로 다님.
const message = {
  role: "user",
  content: [
    { type: "text", text: q },
    { type: "image", mediaType: file.type, data: await file.bytes() },
  ],
};
// 이제 '35mm 렌즈가 보여'가 파일 이름에서 즉흥된 게 아니라 픽셀에 근거해.

Exercise

'모델이 이미지를 봤다' 랑 '모델이 파일 이름 보고 지어냈다' 를 구분하는 테스트를 설계해 봐. 힌트를 주자면, 파일 이름이 엉뚱한 이미지를 붙이는 거야. 이름은 sunset.jpg 인데 실제로는 키보드 사진. 그러고 뭐가 보이냐고 물어봐. 각 답이 뭘 증명하는지 설명하고. 그다음 파이프라인 어디에서 이름 말고 진짜 바이트가 adapter 에 닿았다고 단언할지 적어.

Hint

모델이 일몰이라고 하면 파일 이름을 읽은 거고, 키보드라고 하면 픽셀을 읽은 거야. 엉뚱한 파일 이름 하나가 안 보이던 버그를 눈에 보이게 만들어 주지. 파이프라인 쪽에선 응답 말고 adapter 경계에서 이미지 바이트가 있는지랑 크기가 얼만지를 단언해.