스스로 속지 않고 모델 평가하기

피파 한 줄 정리: 일관성·편집성·지시 준수·글자·해부와 물리·움직임·실패율의 일곱 축을 내 프롬프트로 시험해. 골라 올린 데모는 평가가 아니야.

새 모델의 놀라운 결과 한 장을 소셜미디어에서 보고 전체 작업 흐름을 바꿨다가, 2주 뒤 글자를 못 쓰고 여러 인물에서 깨지며 내 요청에는 들쭉날쭉하다는 사실을 발견하기 쉽다. 최고의 결과만 골라 보여 준 선별 데모에 속은 거야.

자동차를 평가할 때 전시장의 사진만 보지 않고 비 오는 길을 달리고, 짐칸을 보고, 평행 주차와 구덩이를 시험하듯 미디어 모델도 실제 사용 조건에서 몰아봐야 한다.

일곱 축 평가

일관성: 같은 프롬프트를 열 번 생성해 얼굴, 스타일, 구도가 얼마나 같은 계열인지 본다.
편집 가능성: 피사체를 흔들지 않고 배경만, 배치를 바꾸지 않고 색만 수정할 수 있는지 본다.
프롬프트 준수: 대상, 행동, 장소, 조명, 스타일의 다섯 요구를 쓰고 몇 개를 지켰는지 센다.
글자 처리: 표지판에 특정 단어를 넣어 철자, 자간, 가독성을 확인한다.
해부와 물리: 복잡한 자세, 물체를 잡은 손, 거울 반사, 투명 재료로 물리 이해를 압박한다.
움직임 사실성: 비디오의 신체 표류, 고무 동작, 물리 위반, 시간 깜빡임을 보고 임의 프레임을 멈춰도 견디는지 본다.
실패율: 스무 번 중 실제로 쓸 수 있는 결과 수를 센다. 10%만 놀라운 모델보다 80%가 좋은 모델이 더 유용할 수 있다.

핵심 정리

선별된 데모가 아니라 실제 용도의 프롬프트로 여러 축을 체계적으로 시험해.
최고점 한 장보다 일관성과 낮은 실패율이 실전에 더 중요할 수 있다.
모델마다 잘 듣는 문장 방식이 있으므로 학습 기간을 두고 판단해.

Code

예시 코드·python

# Simple model evaluation scorecard
def evaluate_model(model_name, test_results):
    """Score a model across seven axes (1-10 each)"""
    axes = [
        "consistency", "editability", "prompt_adherence",
        "text_handling", "anatomy_physics",
        "motion_realism", "failure_rate_inv"  # inverted: lower failure = higher score
    ]
    scores = {}
    for axis in axes:
        scores[axis] = test_results.get(axis, 5)

    weighted = (
        scores["consistency"] * 1.5 +      # high weight: saves iteration time
        scores["prompt_adherence"] * 1.5 +  # high weight: core functionality
        scores["failure_rate_inv"] * 1.2 +  # high weight: workflow reliability
        scores["editability"] * 1.0 +
        scores["text_handling"] * 0.8 +
        scores["anatomy_physics"] * 0.8 +
        scores["motion_realism"] * 0.7
    )
    max_possible = 10 * (1.5 + 1.5 + 1.2 + 1.0 + 0.8 + 0.8 + 0.7)
    return round(weighted / max_possible * 100, 1)  # percentage score

일곱 축 평가

Code

External links

Exercise

Progress

댓글 0