UniMesh: 3D 메시 이해와 생성의 통합

기존 3D 비전 모델들이 생성이나 이해 중 한 가지 작업에만 특화되어 파편화되어 있던 한계를 극복했다. 단일 아키텍처 내에서 생성과 이해가 서로 정보를 주고받으며 성능을 높이는 시너지를 창출하고, 재학습 없이 텍스트만으로 정밀한 3D 편집이 가능하다.

기존의 3D 생성은 텍스트를 입력받아 한 번에 결과물을 내놓는 'One-pass' 방식에 의존했다. 이는 생성된 결과물에 대한 논리적 이해가 결여되어 있어, 사용자가 특정 부분만 수정하고 싶어도 전체를 다시 생성해야 하거나 일관성이 깨지는 문제를 야기했다. UniMesh는 이를 해결하기 위해 생성 모델의 출력물을 다시 이해 모델의 입력으로 피드백하는 폐쇄 루프(Closed-loop) 구조를 채택했다.

이 과정의 핵심은 '잠재 공간(Latent Space)의 직접 연결'이다. 일반적으로 2D 이미지를 생성하고 이를 다시 3D로 변환하면 데이터 변환 과정에서 세부 정보가 손실된다. UniMesh는 Mesh Head라는 인터페이스를 통해 BAGEL 모델이 생성한 이미지 잠재 벡터를 Hunyuan3D가 이해할 수 있는 형상 벡터로 직접 변환한다. 이는 Embedding 공간 사이의 좌표 변환과 유사하며, 정보의 누락 없이 고해상도 기하학 정보를 전달할 수 있게 한다.

결과적으로 모델은 자신이 만든 3D 객체를 시각적으로 '보고' 사용자의 추가 지시어와 대조하며 어느 부분을 고쳐야 할지 판단한다. 이는 마치 조각가가 자신의 작품을 살피며 세부 수정을 가하는 과정과 같으며, 딥러닝의 반복적 추론(Iterative Reasoning)을 기하학적 영역으로 확장하여 제로샷(Zero-shot) 기반의 정밀 편집을 가능케 했다.

UniMesh는 BAGEL(멀티모달 LLM)과 Hunyuan3D(3D 생성기)를 Mesh Head로 연결한 구조이다. Mesh Head는 BAGEL의 FLUX 디코더와 Hunyuan3D의 DINOv2 컨디셔너를 결합하여 설계됐으며, Cap3D 데이터셋을 활용해 지도 학습 기반의 Fine-tuning을 거쳤다. 학습 시에는 GeDi 알고리즘을 사용하여 정답 포인트 클라우드와 예측된 SDF(Signed Distance Field)를 정렬하고, 포인트-SDF 손실 함수를 통해 최적화했다.

Chain-of-Mesh(CoM)는 추론 시 작동하는 메커니즘으로, 초기 생성된 메시의 이미지 잠재 벡터 z_img(0)를 새로운 편집 프롬프트와 함께 다시 Qwen 모듈에 입력한다. [z_img(0) + Prompt(1) → Qwen → z_img(1)] 과정을 통해 수정된 잠재 벡터를 얻고, 이를 다시 Mesh Head를 통해 새로운 메시 M(1)로 변환하는 계산 과정을 반복한다. 이 과정은 파라미터 업데이트 없이 프롬프트 제어만으로 수행된다.

자기 성찰(Self-reflection) 모듈은 3D 캡셔닝 작업에서 Actor(캡션 생성), Evaluator(정확도 판단), Self-reflection(오류 진단 및 수정 계획 수립)의 세 단계로 작동한다. Evaluator가 생성된 캡션과 6개의 렌더링 이미지를 비교하여 'INCORRECT' 판정을 내리면, Self-reflection 모듈이 실패 원인을 분석한 텍스트를 생성하여 다음 추론 사이클의 컨텍스트로 제공함으로써 결과물을 정교화한다.

3D 객체 캡셔닝 실험에서 UniMesh는 FID 0.113을 기록하며 비교 대상 모델 중 가장 우수한 생성 품질과 자연스러움을 보여주었다. 특히 CLIP Image-Text 유사도 0.297, Text-Text 유사도 0.686을 달성하여 시각적 정보와 텍스트 설명 간의 높은 일관성을 입증했다. 이는 자기 성찰 메커니즘을 통해 단순한 객체 인식을 넘어 색상 조합, 구조적 특징 등 세부 속성을 정확히 묘사한 결과이다.

Text-to-3D 생성 성능 측정에서는 CLIP Image-Text 유사도 0.296을 기록하며 InstantMesh(0.272), LGM(0.266), Flex3D(0.277) 등 기존 SOTA 모델들을 상회하는 성능을 보였다. 이는 Qwen 백본의 강력한 언어 이해 능력이 Mesh Head를 통해 손실 없이 3D 형상으로 전이되었음을 의미한다.

Ablation Study 결과, DiffuRank를 통한 뷰 선택과 CoT(Chain-of-Thought) 가이드, 그리고 Reflexion 모듈을 모두 사용했을 때 성능이 가장 높았다. 특히 Reflexion 모듈 추가 시 어휘적 유사성(Lexical Similarity)이 크게 향상되어, 모델이 반복적 피드백을 통해 더 구체적이고 정확한 표현을 생성함을 확인했다.

UniMesh의 아키텍처는 크게 인지(Perception)를 담당하는 BAGEL과 생성(Creation)을 담당하는 Hunyuan3D로 구성된다. 두 모델 사이의 가교 역할을 하는 Mesh Head는 LoRA(Low-Rank Adaptation) 기법을 적용하여 r=4, alpha=8의 설정으로 효율적으로 학습됐다. 이는 전체 파라미터를 고정한 채 쿼리(Query)와 값(Value) 투영 행렬만 업데이트하여 연산 비용을 최소화한 것이다.

학습 데이터의 도메인 차이를 줄이기 위해 Drop Shadow Augmentation과 Shallow Gradient Background 기술이 적용됐다. 이는 Cap3D의 렌더링 이미지를 확산 모델이 생성한 이미지의 시각적 특성(부드러운 그림자, 조명 효과 등)과 일치시키기 위한 전처리 과정이다. 이를 통해 모델은 배경이나 그림자 정보에 휘둘리지 않고 객체의 핵심 기하학적 구조에 집중하여 학습할 수 있다.

추론 단계에서 Hunyuan3D-2 모델을 사용하여 고해상도 메시를 생성하며, 학습 시에는 메모리 효율을 위해 Hunyuan3D-2 Mini Turbo 변체와 FlashVDM 기술을 활용했다. 이러한 하이브리드 전략은 학습 효율성과 최종 출력물의 품질 사이의 균형을 맞추는 데 기여했다.

Chain-of-Mesh 편집 방식이 직접적인 3D 데이터 이해보다는 참조 이미지의 잠재 벡터에 의존한다는 점이 한계로 지적된다. 또한 자기 성찰 과정에서 사용되는 BAGEL 기반 평가기의 3D 추론 능력이 부족할 경우 잘못된 판단을 내려 전체적인 성능을 저하시킬 위험이 있다.