DreamPartGen: 협력적 잠재 디노이징을 통한 의미론적 기반의 부품 단위 3D 생성

기존 3D 생성 AI는 물체를 하나의 덩어리로 인식해 세부 부품의 위치나 연결 관계가 어색한 경우가 많았다. 이 논문은 부품별 특징과 부품 간의 논리적 관계를 별도로 학습하여, 훨씬 정교하고 수정이 용이한 3D 모델 생성을 가능하게 한다.

기존의 3D 생성은 주로 전체 형상을 하나의 임베딩으로 처리하는 방식이었다. 이는 마치 그림을 그릴 때 스케치 없이 색칠부터 하는 것과 같아서, 복잡한 물체의 경우 부품들이 서로 엉키거나 공중에 떠 있는 등의 물리적 오류가 빈번하게 발생했다. DreamPartGen은 이를 해결하기 위해 물체를 의미 있는 부품들의 집합으로 정의한다.

각 부품은 고유한 식별자를 가져 디노이징 과정 내내 정체성이 유지되며, 부품 간의 관계를 별도의 신호로 관리한다. 결과적으로 생성 AI는 단순히 형태를 흉내 내는 것을 넘어, 부품들이 어떻게 조립되어야 하는지에 대한 설계도를 이해하며 3D 모델을 완성하게 된다.

이 접근 방식은 생성된 결과물의 품질을 높일 뿐만 아니라, 특정 부품만 교체하거나 위치를 조정하는 정밀한 편집을 가능하게 한다. 이는 딥러닝의 어텐션 메커니즘을 활용해 부품 간의 상관관계를 계산하고, 이를 기하학적 구조와 동기화함으로써 달성된다.

DPL과 RSL의 상호작용은 두 단계의 동기화 메커니즘을 통해 구현된다. 첫 번째 단계인 Intra-part Synchronization에서는 각 부품의 기하학적 구조와 외형을 정렬한다. [노이즈가 섞인 3D 기하 잠재값과 2D 외형 잠재값을 입력으로] → [Self-Attention 및 Cross-Attention 연산을 수행해] → [두 모달리티의 특징이 융합된 잠재값을 얻고] → [이는 부품의 모양과 색상이 서로 어긋나지 않도록 일치시키는 역할을 한다].

두 번째 단계인 Inter-part Synchronization에서는 부품 간의 전역적인 관계를 조율한다. [모든 부품의 잠재값과 언어에서 유도된 S_glb(Global Relational Tokens)를 입력으로] → [관계형 그래프 기반의 Attention 연산을 수행해] → [부품 간의 상대적 위치와 연결성이 반영된 벡터를 얻고] → [이를 통해 의자 다리가 시트 아래에 정확히 위치하는 것과 같은 물리적 정합성을 보장한다].

최종적으로 학습은 PartRel3D 데이터셋을 활용해 2단계로 진행된다. 1단계에서는 개별 부품의 생성 능력을 최적화하고, 2단계에서는 SNR 기반 커리큘럼 학습을 통해 부품 간의 조립 능력을 미세 조정하여 전체적인 구조적 완성도를 높인다.

Objaverse, ShapeNet 등 주요 벤치마크에서 기존 SOTA 모델들을 압도하는 성능을 보였다. 특히 기하학적 정밀도를 나타내는 Chamfer Distance(CD)에서 평균 53%, Earth Mover's Distance(EMD)에서 33%의 대폭적인 개선을 달성했다.

텍스트와 생성된 형상 간의 일치도를 측정하는 CLIP 및 ULIP 점수에서도 기존 방식 대비 20% 이상 높은 수치를 기록했다. 이는 DreamPartGen이 사용자의 복잡한 텍스트 설명을 더 정확하게 3D 형태로 구현함을 의미한다.

Ablation Study 결과, 글로벌 관계 토큰(S_glb)을 제거했을 때 CD 수치가 0.771에서 2.892로 급격히 악화되었다. 이는 부품 간의 관계를 명시적으로 모델링하는 것이 일관성 있는 3D 모델 생성에 필수적임을 입증한다.

Transformer 기반의 DiT(Diffusion Transformer) 아키텍처를 백본으로 사용하며, 부품별 독립성을 보장하기 위해 Slot-based 구조를 채택했다. DPL은 3D VAE로 인코딩된 포인트 클라우드 특징과 멀티뷰 렌더링 이미지를 통한 2D VAE 특징을 결합하여 부품의 기하와 텍스처를 동시에 표현한다.

RSL은 텍스트 인코더를 통해 추출된 관계 트리플렛(i, j, rho)을 잠재 공간으로 투영하여, 부품 간의 공간적/기능적 제약 조건을 수치화한다. S_glb는 고정된 구조적 조건으로 작용하여 부품 간의 지지, 부착, 대칭 등의 관계를 강제하며, S_loc은 디노이징 과정에서 함께 확산되어 부품의 세부 재질이나 질감을 정교화한다.

학습 과정에서는 SNR(Signal-to-Noise Ratio) 가중치 커리큘럼을 적용하여, 학습 초기에는 개별 부품의 형태 복원에 집중하고 후기에는 부품 간의 관계적 정렬에 더 큰 비중을 두도록 설계되었다. 이를 통해 복잡한 구조를 가진 물체도 파손 없이 안정적으로 생성할 수 있다.