피파 한 줄 정리: 손은 움직임의 경우의 수가 많고, 자주 가려지며, 화면에서 차지하는 픽셀이 작고, 모델에 해부학 규칙이 없어서 어려워. 장신구·치아·안경·유리도 같은 실패 조건을 공유해.
전문 화가도 손을 가장 어려운 대상으로 꼽아. 손에는 뼈 27개와 수많은 자세가 있고 손가락끼리 늘 가리며 각도마다 전혀 다르게 보여. 모델은 이런 손을 크기·빛·가림이 제각각인 사진 수백만 장에서 패턴으로만 배워.
손이 특별히 어려운 네 이유
- 높은 관절 자유도: 손가락 다섯 개, 각각 세 관절, 복잡한 손목이 만드는 유효 자세가 엄청나.
- 잦은 가림: 손가락끼리 겹치고 물체를 감싸며 손바닥 뒤로 숨어 학습 자료에도 일부만 보인 손이 많아.
- 작은 픽셀 예산: 대부분 사진에서 손은 화면의 작은 부분이라 학습 신호가 약해.
- 해부학 규칙 부재: 사람이 손가락 다섯 개라는 규칙을 아는 대신 길쭉한 돌기가 달린 손 모양 영역의 통계만 알아.
같은 이유로 깨지는 세부
- 장신구: 반지가 복제되고 necklace chain이 허공에서 끊기며 귀걸이가 좌우 달라져.
- 치아: 치아 수가 많아지거나 크기가 다르고 서로 녹아붙어. ‘32개가 호를 이룸’보다 입의 흰 모양으로 배웠기 때문이야.
- 안경: frame 연결과 lens 모양이 다르거나 얼굴에 합쳐져.
- 유리·물·거울·chrome: 주변에 따라 반사와 굴절이 달라 물체와 주변 장면을 동시에 일관되게 만들어야 해.
현실적인 우회법
- 손목에서 crop하거나 손을 주머니·등 뒤에 두어 문제를 화면 밖으로 보내.
- “팔짱”, “두 손으로 mug 잡기”처럼 자세를 제한해.
- 전체 이미지를 만든 뒤 손만 inpaint해.
- 5번 트랙의 자세 참조 이미지를 사용해.
핵심 정리
- 손은 높은 관절 자유도, 가림, 작은 면적, 해부학 지식 부재 때문에 깨진다.
- 장신구·치아·안경·투명 물체도 정밀한 구조와 큰 변동성 때문에 비슷하게 실패한다.
- 모델은 물리적으로 옳은 구조가 아니라 그럴듯한 패턴을 예측한다.
- 자세를 제한하고 문제 구역을 crop하거나 inpaint해.