PoseDreamer: 확산 모델을 활용한 확장 가능하고 사실적인 인간 데이터 생성 파이프라인

기존의 3D 인간 데이터셋은 수작업 주석이 어렵거나 그래픽 엔진으로 만든 이미지가 부자연스러워 실제 환경 적용에 한계가 있었다. 이 논문은 생성형 AI를 활용해 실제 사진처럼 정교하면서도 정확한 3D 좌표가 포함된 데이터를 대량으로 생성하는 방법을 제시하여, 저비용으로 고성능 AI 모델을 학습시킬 수 있는 길을 열었다.

3D 인간 메시 추정은 2D 이미지에서 신체의 입체적 구조를 복원하는 작업이다. 기존에는 3D 게임 엔진으로 데이터를 렌더링했으나, 질감이 인위적이고 배경이 단조로워 실제 사진 데이터와의 도메인 격차가 발생하는 한계가 있었다.

PoseDreamer는 최신 확산 모델의 강력한 이미지 생성 능력을 활용한다. 단순히 이미지를 만드는 것이 아니라, SMPL-X라는 표준 3D 인간 모델의 좌표를 제어 신호로 사용하여 이미지 속 인물의 자세를 픽셀 단위로 정밀하게 조정하는 원리를 적용했다.

특히 DPO(Direct Preference Optimization)를 도입하여 생성된 이미지가 입력된 3D 좌표와 얼마나 잘 맞는지를 평가하고, 더 정확하게 일치하는 이미지를 생성하도록 모델을 미세 조정했다. 이를 통해 가상의 데이터임에도 실제 사진과 같은 시각적 품질과 전문가 수준의 정확한 라벨을 동시에 확보했다.

전체 파이프라인은 라벨 생성, 제어 모델 정렬, 하드 샘플 마이닝, 품질 필터링의 4단계로 구성된다. 먼저 LAION과 AMASS 데이터셋에서 다양한 인간 포즈와 텍스트 설명을 추출하여 학습의 기초로 삼는다.

제어 모델 정렬을 위해 OKS(Object Keypoint Similarity) 점수를 보상 지표로 사용한다. 생성된 이미지에서 2D 관절 위치를 예측한 값과 원래 3D 모델을 투영한 2D 좌표 사이의 거리를 계산하여, 일치도가 높은 샘플을 선호하도록 DPO 알고리즘으로 모델을 학습시킨다. [예측된 2D 관절과 정답 2D 관절 좌표를 입력으로] → [지수 함수를 이용해 거리 차이에 따른 유사도를 계산하고] → [0에서 1 사이의 점수를 얻으며] → [이 값이 1에 가까울수록 이미지와 3D 모델이 완벽하게 일치함을 의미한다].

하드 샘플 마이닝 단계에서는 Gradient Boosting Decision Tree를 사용하여 특정 포즈 파라미터가 모델에게 얼마나 어려운지를 예측한다. 예측된 난이도가 높은 포즈들을 우선적으로 생성하여 학습 데이터의 변별력을 높인다.

마지막으로 YOLO를 이용한 인원수 필터링, OKS 기반의 자세 정렬 필터링, VGGHeads를 이용한 머리 방향 일관성 검사를 거쳐 최종 데이터셋을 정제한다.

이미지 품질 측면에서 PoseDreamer는 기존의 렌더링 기반 데이터셋인 BEDLAM 대비 Inception Score에서 76% 개선된 수치를 기록했으며, FID(Fréchet Inception Distance)는 1.72로 압도적인 사실성을 입증했다.

3D 메시 복원 성능 평가에서 PoseDreamer로 학습된 모델은 실제 데이터와 기존 합성 데이터를 혼합해 학습한 모델과 대등하거나 더 우수한 성능을 보였다. 특히 UBody, 3DPW 등 실제 환경 벤치마크에서 뛰어난 일반화 성능을 나타냈다.

Ablation Study 결과, DPO 정렬을 통해 포즈 오류율을 42.1% 감소시켰으며, 하드 샘플 마이닝과 다단계 필터링이 모델의 최종 정확도 향상에 필수적임을 확인했다.

SMPL-X 파라미터(포즈, 체형, 표정)를 PNCC(Progressive Normal Co-ordinates) 기반의 RGB 맵으로 인코딩하여 확산 모델의 제어 신호로 입력한다. 이는 단순한 관절점보다 풍부한 기하학적 정보를 제공하여 정밀한 제어를 가능케 한다.

제어 모델은 EasyControl 프레임워크를 기반으로 하며, LoRA(Low-Rank Adaptation)를 사용하여 효율적으로 미세 조정된다. DPO 학습 시 rank=128, alpha=128 설정을 사용하여 메모리 효율성을 확보했다.

DPO 손실 함수는 Flow-DPO 프레임워크를 따르며, OKS 점수를 기준으로 선호 샘플과 비선호 샘플 쌍을 구성하여 제어 정밀도를 높인다. 이는 확산 모델이 공간적 제약 조건을 더 엄격하게 준수하도록 유도한다.

하드 샘플 마이닝은 1단계에서 무작위 샘플로 학습한 모델의 성능을 평가하고, 2단계에서 GBDT 회귀 모델로 파라미터 공간에서의 난이도를 매핑하여 샘플링 효율을 극대화하는 전략을 취한다.

복잡한 다인 상호작용이나 요가와 같은 극단적인 포즈에서는 여전히 신체 왜곡이나 물리적으로 불가능한 장면이 생성되는 경우가 있다. 또한 확산 모델 특유의 과포화된 질감이 일부 남아 있을 수 있다.