피파 한 줄 정리: ‘완벽한 프롬프트’를 찾느라 30분을 쓰는 건 비효율적이야. 프롬프트가 결정하는 몫은 약 30~40%이고, 나머지는 모델 가중치·시드·guidance·sampler 같은 요소가 나눠 가져.
이미지 생성에는 비밀 단어 조합이 있다는 신화가 널리 퍼져 있어. 하지만 프롬프트는 결과를 정하는 여러 입력 가운데 하나일 뿐이야.
케이크를 굽는다고 생각해봐. 조리법이 프롬프트라면 오븐은 모델 구조, 재료의 품질은 학습 데이터, 온도는 guidance scale, 굽는 시간은 sampling steps, 그날의 습도는 무작위 시드와 닮았어. 조리법만 붙들고 다른 조건을 무시해서는 완벽한 케이크가 나오지 않아.
결과를 함께 결정하는 요소
┌─────────────────┐
프롬프트 ─────────▶│ │
모델 가중치 ──────▶│ 생성 과정 │──▶ 출력 이미지
무작위 시드 ──────▶│ │
Guidance scale ──▶│ │
Sampling steps ─▶│ │
모델 구조 ────────▶│ │
└─────────────────┘
프롬프트는 여러 입력 가운데 하나다.
- 프롬프트(약 30~40%): 주제·화풍·분위기 같은 개념적 방향을 잡지만, 말 그대로 실행되지 않고 모델이 배운 연상을 거쳐 해석돼.
- 모델 가중치(약 30~40%): 학습 데이터와 구조가 모델의 시각 어휘를 정해. 사실적 모델과 anime 모델은 “아름답다”도 다르게 그려.
- 무작위 시드(약 10~15%): 시작 노이즈가 분포에서 어느 표본을 얻을지 정해. 같은 프롬프트도 시드가 달라지면 이미지가 달라져.
- Guidance·steps·기타 매개변수(약 10~15%): 프롬프트를 따르는 강도, 다듬는 정도, 품질 사이의 득실을 조절해.
모델의 기본 성향은 강하다
프롬프트가 없어도 모델은 이미지를 만들 수 있어. 학습 데이터에서 흔했던 구도 좋고 밝기가 맞는 평범한 피사체 쪽으로 기울 뿐이야. 이런 학습된 prior가 모델의 기본 행동이고, 프롬프트는 거기서 특정 방향으로 밀어내는 역할을 해.
- 균형 잡힌 구도와 관습적인 미감을 ‘좋은 이미지’의 기본값으로 삼기 쉽다.
- 사람의 기본 외모는 학습 데이터의 인구 구성 편향을 따른다.
- 중앙 피사체와 단순한 배경 같은 흔한 장면 구성을 선호한다.
- 매끈하고 상업적인 화풍으로 기울기 쉽다.
화려한 기법보다 이런 기본 성향을 아는 편이 더 쓸모 있을 때가 많아. 모델이 자연스럽게 가는 길을 활용하거나, 필요하면 다른 제어 도구로 의도적으로 거슬러 갈 수 있으니까.
핵심 정리
- 프롬프트가 결과를 정하는 몫은 약 30~40%이며 모델, 시드, 매개변수도 중요하다.
- 모델은 프롬프트가 없어도 드러나는 강한 학습 prior를 갖고 있다.
- 마법의 프롬프트보다 전체 생성 과정을 이해하는 것이 실제 제어에 가깝다.
- 모델의 성향을 활용하고 참조·편집 같은 다른 도구를 함께 써라.