피파 한 줄 정리: 같은 프롬프트라도 시작 노이즈가 다르면 다른 사람이 나와. 모델은 특정 개인이 아니라 외모의 범주를 그려. 진짜 인물 일관성에는 시각 참조가 필요해.
“30대 여성, 붉은 곱슬머리, 녹색 눈, 주근깨, denim jacket”이라는 말만 주고 거리 화가 열 명에게 같은 사람을 그리게 해봐. 모두 설명에는 맞지만 얼굴형·곱슬 정도·주근깨 위치가 다른 여성 열 명이 나올 거야. 생성 모델도 매번 확률 분포에서 새 표본을 뽑고 직전 결과를 기억하지 않아.
왜 지속되는 정체성이 없을까
Diffusion 모델은 각 생성을 독립 사건으로 처리해. 공통 입력은 시각 의도를 손실 압축한 텍스트뿐이고, “붉은 곱슬머리”가 가리키는 가능한 외모는 엄청나게 넓어.
같은 말 + 다른 시드 = 다른 사람 Seed 42: 둥근 얼굴·촘촘한 곱슬·진한 denim Seed 43: 각진 얼굴·느슨한 물결·연한 denim Seed 44: 타원형 얼굴·중간 곱슬·vintage wash 모두 유효하지만 같은 사람은 아니다.
이 문제는 comics·storyboard의 panel, brand mascot, 영상의 frame, campaign의 spokesperson처럼 같은 인물을 계속 보여야 할 때 결정적이야. 일관성이 없으면 character가 아니라 비슷한 사람의 범주만 있는 셈이지.
해법
- 참조 이미지: 외모를 시각적으로 고정해. Midjourney V7 Omni-Reference(--oref)는 최대 95% 일관성을 제시하고 DALL-E는 대화 안에서 Gen_ID를 사용해.
- Character sheet: 여러 자세의 참조 격자를 먼저 만들고 다음 생성에 넣어. Leonardo AI는 이 방식으로 92% 일관성을 보고해.
- IP-Adapter: Cross-attention에 시각 정체성을 주입해 얼굴과 외모를 보존해.
- 시드 고정: 비슷하게 만들 수 있지만 프롬프트나 다른 매개변수가 바뀌면 쉽게 깨지므로 보조 수단일 뿐이야.
핵심 정리
- 각 생성은 독립 표본이라 모델은 이전 결과를 기억하지 않는다.
- 텍스트는 특정 개인이 아니라 외모의 범주를 설명한다.
- 참조 이미지·character sheet·전용 adapter로 시각 기억을 줘야 일관성이 생긴다.
- 시드 고정은 시작점이지 해법은 아니다.