피파 한 줄 정리: Keyword stack은 SD 1.5 시대의 문법이야. FLUX에 그대로 쓰면 T5-XXL의 언어 이해력을 버리는 셈이지. 모델에 따라 프롬프트 형식을 바꿔.
이미지 생성에는 세 가지 대표적인 프롬프트 형식이 있고, 가장 잘 맞는 것은 모델 구조에 달려 있어.
1. Keyword stacking
문법 없이 쉼표로 tag를 나열해. CLIP이 문장을 검색어처럼 처리하던 Stable Diffusion 1.5·Danbooru 시대에 생겼어.
“portrait, woman, red hair, freckles, green eyes, soft lighting, bokeh, 85mm, professional photography, 8k, masterpiece, best quality”
쉼표 tag caption으로 학습한 SD 1.5 모델과 fine-tune.
2. 묘사형
장면을 적당한 세부와 짧고 구조적인 문장으로 설명해. Keyword와 완전한 자연어의 중간이야.
“붉은 머리와 주근깨가 있는 여성의 초상, 부드러운 자연광, 얕은 심도, professional photography”
대부분의 현대 모델. 명확하고 효율적이며 불필요한 문법에 token을 쓰지 않아.
3. 자연어형
촬영 지시서처럼 관계와 상황을 온전한 문장으로 써. 강한 언어 이해력을 지닌 모델의 장점을 살려.
“선명한 붉은 머리와 옅은 주근깨를 지닌 젊은 여성이 아는 듯 살짝 웃으며 카메라를 본다. 왼쪽 창의 부드러운 빛이 은은한 그림자를 만들고 배경은 흐리다. 85mm lens, f/1.8.”
T5-XXL·Mistral 같은 강한 encoder를 쓰는 FLUX·FLUX.2.
| 모델 | Text encoder | 잘 맞는 형식 |
|---|---|---|
| SD 1.5 / fine-tune | CLIP(77 tokens) | Keyword stacking |
| SDXL | CLIP + OpenCLIP | 묘사형 |
| SD 3.5 | CLIP + T5-XXL | 묘사형·자연어형 |
| FLUX / FLUX.2 | T5-XXL / Mistral | 자연어형 |
| Midjourney | 비공개 | 짧은 묘사 + parameters |
| DALL-E 3 | GPT 기반 | 자동 보강되는 자연어 |
구체적인 명사가 닻을 내린다
“beautiful, stunning, magnificent, breathtaking, incredible, gorgeous landscape”
“눈 덮인 봉우리를 비추는 빙하호, turquoise 물 위의 아침 안개, 전경의 야생화, Patagonia”
“아름답다”는 시각 목표가 거의 없지만 빙하호·봉우리·turquoise 물·야생화·Patagonia는 각각 구체적인 패턴을 깨워. 명사는 닻을 내리고 형용사는 색을 입혀.
- 프롬프트에는 keyword stacking, 묘사형, 자연어형 세 방식이 있다.
- Text encoder에 따라 알맞은 방식이 달라서 FLUX에는 자연어, SD 1.5에는 keyword가 잘 맞는다.
- 추상 형용사보다 구체적인 명사가 이미지를 강하게 고정한다.
- 모델에 맞춰 형식을 바꾸는 것이 노력 대비 효과가 큰 개선이다.