MonoArt: 단안 관절형 3D 재구성을 위한 점진적 구조 추론

기존의 관절형 3D 재구성은 여러 장의 사진이나 복잡한 비디오 생성이 필요해 느리고 불안정했다. 이 논문은 단 한 장의 사진만으로 물체의 구조와 움직임을 단계적으로 추론하여, 로봇 제어나 가상 환경 구축에 즉시 활용 가능한 정교한 3D 모델을 매우 빠르게 생성한다.

기존의 3D 재구성은 주로 고정된 물체에 집중해왔다. 하지만 노트북이나 서랍처럼 움직이는 부품이 있는 관절형 물체는 부품의 분할과 회전/이동축 같은 운동학적 파라미터를 동시에 맞춰야 하므로 훨씬 어렵다. 기존 방식은 이를 위해 여러 각도의 사진을 쓰거나 비디오를 생성해 힌트를 얻으려 했으나, 연산량이 너무 많고 결과가 불안정했다. MonoArt는 이를 해결하기 위해 점진적 구조 추론을 제안한다. 먼저 물체의 전체적인 형태를 잡고, 그 위에서 각 부품이 무엇인지 파악한 뒤, 마지막으로 그 부품이 어떻게 움직이는지를 단계적으로 예측한다. 이는 복잡한 문제를 작은 단위로 쪼개어 해결하는 딥러닝의 계층적 특징 추출 원리와 맞닿아 있다. 특히 이중 쿼리 메커니즘을 통해 이 부품이 무엇인가라는 의미와 어디에 위치하는가라는 공간 정보를 분리하여 학습한다. 이를 통해 부품의 외형이 비슷하더라도 위치에 따라 다른 움직임을 가질 수 있음을 정확히 인지하게 된다. 결과적으로 단일 이미지에서도 물리적으로 타당한 관절 모델을 생성할 수 있게 되었다.

TRELLIS 기반 3D 생성기 단계다. 입력 이미지 I를 고정된 TRELLIS 백본에 통과시켜 정적 3D 메쉬 O와 구조화된 희소 복셀 잠재 표현 Z를 생성한다. Z는 해상도의 그리드에 특징값이 저장된 형태다. 부품 인식 의미론적 추론기 단계다. 메쉬 표면에서 샘플링된 점에 대해 삼선형 보간을 수행한다. [복셀 그리드 Z와 점 좌표 입력 → 주변 8개 복셀의 가중치 합 계산 → 점 단위 특징 출력] 과정을 거친 후, 이를 세 개의 직교 평면에 투영하고 Transformer로 전역적 맥락을 통합하여 부품 특징 H를 추출한다. 이중 쿼리 동작 디코더 단계다. 부품의 의미를 담은 내용 쿼리와 공간적 앵커를 담은 위치 쿼리를 정의한다. [초기 쿼리와 시각 특징 H 입력 → Self/Cross-Attention 반복 수행 → 잔차 업데이트 계산 → 정제된 쿼리 출력] 과정을 통해 부품의 위치와 동작 의미를 동시에 추론한다. 운동학적 추정기 단계다. 정제된 쿼리를 바탕으로 부품 마스크, 관절 타입, 회전축, 중심점, 가동 범위를 예측한다. 또한 부품 간 쌍별 친밀도를 계산하여 [부품 i와 j의 특징 입력 → 학습된 행렬 C와 행렬 곱 연산 → 부모-자식 확률 출력] 순으로 운동학적 트리 구조를 완성한다.

PartNet-Mobility 벤치마크에서 7개 카테고리 및 46개 전체 카테고리 설정 모두에서 SOTA를 달성했다. 특히 7개 카테고리 실험에서 F-Score 0.728을 기록하여 기존 최고 모델인 SINGAPO(0.572)를 크게 앞질렀다. 관절 타입 정확도 역시 88.26%로 매우 높게 나타났다. 추론 속도 면에서 압도적인 효율성을 보였다. 기존 방식들이 인스턴스당 200초 이상 소요되는 반면, MonoArt는 약 20.5초 만에 재구성을 완료한다. 이 중 18.2초가 기초 3D 생성에 사용되며, 관절 추론 자체에 드는 추가 오버헤드는 매우 적다. 실제 환경 이미지를 활용한 사용자 평가에서도 5점 만점에 4.63점을 기록하여, PhysX-Anything(3.34) 등 기존 모델보다 훨씬 더 물리적으로 타당하고 시각적으로 정교한 결과를 생성함을 입증했다.

아키텍처는 크게 기하학적 복원, 부품 인식 인코딩, 동작 디코딩, 운동학적 회귀의 4단계 파이프라인으로 구성된다. 핵심은 3D 구조적 사전 지식을 명시적으로 모델링하여 비디오 생성이나 외부 템플릿 없이도 단안 이미지의 모호성을 해결한 점이다. 부품 인식 인코더는 Triplane 표현과 Transformer를 결합하여 국소적 기하 구조와 전역적 부품 관계를 동시에 포착한다. 학습 시 Triplet Loss를 사용하여 동일 부품 내의 특징은 가깝게, 서로 다른 부품 간의 특징은 멀게 배치하도록 강제함으로써 부품 분할의 변별력을 높였다. 동작 디코더의 이중 쿼리 설계는 DETR의 객체 탐지 메커니즘을 관절 추론으로 확장한 것이다. 위치 쿼리는 관절의 중심점을 찾는 앵커 역할을 하며, 내용 쿼리는 해당 부품의 물리적 속성을 결정한다. 이는 부품의 기하학적 위치와 의미론적 기능을 분리하여 학습 안정성을 확보한다. 학습 전략은 4단계 워밍업 방식을 채택했다. 1) 부품 인코더 학습, 2) 쿼리 초기화 분기 학습, 3) 전체 모듈 공동 최적화, 4) 운동학적 트리 예측기 학습 순으로 진행하여 복잡한 파라미터 공간에서의 수렴을 돕는다.

매우 작은 부품(예: 작은 버튼)은 균일한 포인트 샘플링 과정에서 특징이 소실되어 정확한 분할과 파라미터 추정이 어려울 수 있다. 또한 학습 데이터에 포함되지 않은 완전히 새로운 위상이나 희귀한 관절 패턴을 가진 물체에 대해서는 동작 예측의 정확도가 떨어지는 한계가 있다.