닫힌 가구에서 관절 구조를 복원하는 Rest2Art

왜 중요한가

가구의 디지털 트윈을 만들려면 닫힌 상태의 사진이나 3D 스캔만으로도 부품 형상과 문·서랍의 운동 구조를 복원해야 합니다. Rest2Art는 실제 움직임이 없는 모호한 입력에서 VLM, segmentation model, video diffusion model의 불완전한 예측을 명시적 mesh의 기하 제약으로 서로 검증해 metric scale을 유지한 관절형 복원을 수행합니다. ACD-HSSD에서 관절 유형 정확도 74.49%, MultiScan에서 65.78%를 기록해 정지 상태 입력만으로 물리 시뮬레이션과 공간 계획에 사용할 구조를 얻는 경로를 마련합니다.

관련 Figure

Infographic
Rest2Art가 닫힌 가구의 외형에서 부품 단위 구조와 관절 운동을 복원하려는 연구임을 직관적으로 연결합니다. 관찰되는 대상이 회전형 문과 이동형 서랍을 모두 포함하므로, 논문의 revolute joint와 prismatic joint 추정 문제를 함께 나타냅니다. 오른쪽 하단의 입력 가구와 생성 영상 프레임은 정지 관찰에서 운동 가설을 만드는 과정을 암시합니다.
여러 가구의 닫힌 상태와 열린 상태를 비교해 문, 서랍, 수납장처럼 다양한 부품 운동을 한 화면에 배치한 그림입니다.

핵심 기여

닫힌 상태만으로 관절형 물체 복원

실제 움직임이나 열린 상태가 없는 단일 rest-state 관찰에서 부품별 mesh와 joint parameter를 동시에 추정하는 문제를 구성합니다. 부품 수를 사전에 제공하지 않아도 가구의 계층 구조와 움직이는 부분을 찾도록 설계합니다.

VLM과 SAM3의 반복 상호 검증

VLM이 만든 부품 계층과 SAM3가 만든 시점별 mask의 개수와 위치를 비교합니다. 불일치가 생기면 색상으로 표시한 mask를 VLM에 다시 넣거나 여러 시점의 증거를 모아 두 모델의 출력을 수정한 뒤 mesh 표면에 통합합니다.

생성 영상에서 운동 가설 추출

Wan2.2와 VBVR LoRA로 닫힌 물체의 가능한 개방 영상을 생성하고 CoTracker3로 부품별 2D 궤적을 추출합니다. 생성 영상의 모양을 최종 결과로 복사하지 않고, 궤적을 초기 운동 가설로만 사용한 뒤 mesh와의 재투영 오차 및 부품 간 침투 여부로 관절을 다시 맞춥니다.

물리 시뮬레이션용 체적 mesh 완성

분할된 표면 패치를 법선 방향으로 안쪽 오프셋해 닫힌 mesh로 변환합니다. 서랍처럼 내부가 보이지 않는 부품에는 매개변수화한 내부 tray를 추가해 물리 시뮬레이터와 URDF 출력에 필요한 체적 구조를 구성합니다.

핵심 아이디어 이해하기

닫힌 캐비닛을 보면 사람은 손잡이와 틈의 위치를 바탕으로 문이 회전하는지 서랍이 미끄러지는지 추측하지만, 정지 영상에는 실제 변위가 없습니다. 기존 관절형 물체 복원은 서로 다른 관절 상태나 상호작용 영상을 비교해 움직인 부품을 찾았기 때문에 이 정보가 없는 rest-state에서는 형상과 운동의 대응이 모호해집니다. Rest2Art는 먼저 mesh 표면을 공통 기준으로 삼아 VLM의 의미적 계층과 SAM3의 시각 mask를 여러 시점에서 교차 확인하고, 각 면에 가장 강한 증거를 가진 부품 label을 할당합니다. 그 다음 mask가 표시된 이미지를 Wan2.2에 넣어 문이나 서랍이 움직이는 가설을 만들고, 영상에서 얻은 2D 점 궤적을 mesh의 깊이 정보와 결합해 회전 관절 또는 이동 관절을 맞춥니다. 따라서 생성 영상에 가짜 부품이나 부정확한 크기가 있어도 최종 관절은 mesh의 표면 연결, 재투영 오차, 부품 침투 방지 조건을 통과한 결과로 제한됩니다.

관련 Figure

Diagram
그림은 VLM이 서랍 계층을 불완전하게 만들고 segmentation mask가 일부 부품을 놓치며 video diffusion model이 존재하지 않는 서랍을 생성할 수 있음을 구체적으로 나타냅니다. 오른쪽의 프레임 연속 이미지는 문이 열리는 동안 잘못된 부품이 나타나는 오류를 시각화합니다. 이러한 모델별 불일치가 mesh 기반 교차 검증과 co-refinement가 필요한 직접적인 이유가 됩니다.
닫힌 책상 입력에서 VLM의 부품 계층, SAM 계열의 mask, 생성 영상의 시간별 개방 결과가 서로 다른 색으로 표시됩니다.

방법론

입력은 multi-view reconstruction, single-image 3D generation, scene scan처럼 mesh를 만들 수 있는 rest-state 관찰이며 출력은 부품별 mesh와 관절 파라미터입니다. 초기 mesh를 여러 시점에서 다시 렌더링한 뒤 VLM으로 부품 계층과 예상 개수를 얻고 SAM3로 각 시점의 mask를 생성합니다. 이 구조는 입력 방식에 종속되지 않아 서로 다른 mesh 생성 경로를 동일한 후속 처리에 연결합니다.

VLM 계층의 부품별 예상 개수와 SAM3 mask의 실제 개수를 시점마다 비교합니다. 검출 수가 많으면 mask를 색상으로 덧씌워 VLM이 계층을 고치게 하고, 검출 수가 적으면 다른 시점의 증거를 모은 뒤 누락 여부를 판단하며, 최대 두 번의 refinement round를 사용합니다. 검증된 mask는 높은 신뢰도의 3D 표면점으로 역투영한 뒤 다른 시점에 point prompt로 재투영해 같은 부품의 mask와 일치할 때만 유지합니다.

각 부품에 대해 품질이 높은 상위 K개 시점을 선택하고, mask가 덮는 mesh 면에 시점 가중치와 검출 신뢰도를 곱해 증거를 누적합니다. 면마다 누적 증거가 가장 큰 부품을 선택한 뒤, mesh 인접 그래프에서 우세한 연결 성분을 seed로 삼아 누락되거나 끊긴 영역을 최단 경로 기반 label propagation으로 보완합니다. 재할당된 label은 해당 부품의 최적 2D mask 안으로 다시 투영되는지 확인해 기하 근접성만으로 생긴 오류를 제거합니다.

관절 추정에서는 모든 부품 mask를 한 이미지에 투명하게 표시하고 VLM이 만든 운동 설명과 함께 Wan2.2 및 VBVR LoRA에 입력합니다. CoTracker3가 첫 프레임의 mask 영역에서 시작한 점들을 추적하면 mesh 렌더링 깊이로 rest-pose 3D anchor를 얻고, 추적 가시성이 임계값 아래로 떨어지는 프레임에서 궤적을 잘라 생성 영상의 후반부 오류와 tracker drift를 줄입니다. 점의 변위량 변동계수와 방향 변화량으로 회전·이동·정지 운동을 분류하고, 모호하면 두 모델의 재투영 오차를 비교합니다.

회전 관절은 회전축 방향과 축 위의 점, 프레임별 각도로 점을 회전시키고 이동 관절은 단위 이동 방향과 프레임별 변위로 점을 평행 이동시킵니다. 이렇게 예측한 3D 점을 카메라 내부 파라미터로 2D에 투영해 관측 궤적과의 robust reprojection loss를 최소화한 다음 outlier를 제외한 trimmed refit을 수행합니다. 회전축이 부품을 부모 부품 안으로 밀어 넣는 경우를 mesh 침투 penalty로 억제하고, 인접 경계의 주 방향과 축을 부드럽게 결합해 단안 깊이에서 생기는 축 모호성을 줄입니다.

관련 Figure

Diagram
파이프라인은 먼저 VLM과 SAM으로 계층 및 mask를 만들고, 이를 분할된 부품으로 변환한 다음 생성 영상과 2D track을 이용해 joint parameter를 최적화합니다. 마지막 completion 단계에서는 닫힌 표면 부품을 체적 구조로 보완해 실제 장면 안에서 움직일 수 있는 digital twin을 만듭니다. 입력 유형이 달라도 mesh를 중간 표현으로 사용해 동일한 후속 처리를 적용한다는 논문의 input-agnostic 설계를 담고 있습니다.
Multi-view·single-view·3D scan 입력이 mesh로 통합된 뒤 part segmentation, articulation estimation, completion 단계를 거쳐 시뮬레이션용 출력으로 이어집니다.

Diagram
왼쪽은 VLM이 예측한 drawer, door, handle의 개수와 SAM의 시점별 검출을 비교하는 co-refinement loop를 나타냅니다. 오른쪽은 높은 신뢰도의 mask를 3D mesh로 역투영하고 다시 여러 카메라 시점에 재투영해 view-consistent mask인지 확인하는 단계를 표현합니다. 의미적 개수 정보와 표면 기하를 함께 사용해 단일 모델의 누락이나 환각을 줄이는 핵심 처리입니다.
VLM의 계층 트리와 SAM mask를 비교해 excess 또는 missing detection을 찾고, 일치하는 시점을 고른 뒤 mesh 표면에 mask를 검증하는 과정이 그려져 있습니다.

주요 결과

ACD-HSSD에서 Rest2Art는 관절 유형 정확도 74.49%, 축 위치 오차 0.85dm, 축 각도 오차 11.35°를 기록했습니다. 정지 상태 입력에 직접 적용되는 Singapo의 관절 유형 정확도 59.42%와 Articulate AnyMesh의 67.12%보다 유형 판별이 높았으며, 두 상태를 요구하는 일부 복원 방식보다도 경쟁력 있는 결과를 얻었습니다. ACD-ABO에서는 축 각도 오차 4.78°, 축 위치 오차 0.20dm, 관절 유형 정확도 73.38%를 기록했습니다.

실세계 MultiScan에서는 Rest2Art의 평가 가능 장면 비율이 48.94%, 축 각도 오차가 17.23°, 축 위치 오차가 0.26dm, 관절 유형 정확도가 65.78%였습니다. REArtGS의 64.40%와 REArtGS++의 48.74%보다 유형 정확도가 높았고, 축 각도와 위치 오차도 각각 51.93°·29.60dm 및 62.72°·6.85dm보다 낮았습니다. 실제 RGB-D scan의 잡음이 남아 있는 조건에서도 mesh 기반 검증이 생성 모델과 복원 모델의 중간 출력 오류를 제한했습니다.

VLM과 SAM3의 co-refinement를 적용하면 GPT-5.2 단독 계층 정확도 62.3%가 72.5%로 상승했고, Qwen3-VL 단독 계층 정확도 52.2%는 72.5%로 상승했습니다. Qwen3-VL과 SAM3 조합에서 부품 개수 정확도는 47.8%에서 63.8%로 높아졌지만, GPT-5.2와 SAM3 조합에서는 59.4%로 변하지 않았습니다. 두 모델의 상호 보정이 의미 계층과 mask 개수의 서로 다른 오류를 줄이는 방식으로 작동했습니다.

Wan2.2에 VBVR LoRA와 mask overlay를 함께 사용하면 ACD-HSSD에서 부품 환각 비율이 23.1%에서 11.5%로 감소하고 정확한 articulation 비율이 69.2%에서 80.8%로 상승했습니다. Wan2.2 단독으로는 부품 변형과 존재하지 않는 부품 생성이 자주 나타났지만, VBVR LoRA는 시간적 연속성과 물리적 인과성을 보완하고 mask overlay는 경계가 약한 움직이는 부품을 입력에서 직접 지정했습니다. 이 결과는 생성 영상의 사실성을 그대로 믿기보다 운동 유형과 방향을 얻는 보조 신호로 사용해야 한다는 설계와 맞닿아 있습니다.

관련 Figure

Chart
기존 방법의 결과는 하나의 부품이 여러 색으로 쪼개지거나 서로 다른 부품이 합쳐지는 반면, Rest2Art는 Ground Truth에 가까운 큰 부품 경계를 유지합니다. 일부 예에서는 손잡이처럼 ground-truth annotation에 없는 interactable part도 분리되어 논문의 기능 중심 분할 특성을 나타냅니다. 이 비교는 confidence-weighted evidence lifting과 graph-based refinement가 반복적인 표면 오류를 줄이는 효과를 정성적으로 뒷받침합니다.
Find3D, SAMesh, PartField, Rest2Art, Ground Truth, Reference 열을 따라 가구 mesh의 부품별 색상 분할 결과를 비교합니다.

Diagram
Rest2Art의 articulated 결과는 닫힌 입력에서 분리한 부품이 Ground Truth의 개방 방향과 비슷하게 움직이는지 확인하게 합니다. ArtGS와 Singapo의 결과와 나란히 배치해 정지 상태 생성 방식과 두 상태 복원 방식 사이의 차이를 시각적으로 비교합니다. 그림의 핵심은 생성 영상 자체를 복사하는 것이 아니라 mesh에 맞춘 joint parameter로 물리적으로 가능한 부품 운동을 구성하는 데 있습니다.
ArtGS, Singapo, Rest2Art, Ground Truth를 Rest와 Articulated 상태로 나누어 서랍과 문이 움직이는 결과를 비교합니다.

Screenshot
원본 입력만 사용한 Wan2.2 결과에서는 문과 서랍의 형태가 변하거나 부품 위치가 불안정해지는 장면이 나타납니다. mask overlay와 VBVR LoRA를 함께 사용한 결과는 움직여야 할 부품이 색상으로 지정되어 노란 상자로 표시된 오류가 줄어듭니다. 논문의 수치인 환각 비율 23.1%에서 11.5% 감소와 정확한 articulation 비율 69.2%에서 80.8% 상승을 시각적 비교와 연결하는 ablation 그림입니다.
원본 이미지와 mask 입력을 Wan2.2 및 Wan2.2 + VBVR LoRA에 넣어 생성된 시간별 개방 영상을 비교합니다.

기술 상세

Rest2Art는 입력 mesh를 정점 집합과 면 집합으로 유지하며, 표면 연결성을 이용해 2D mask를 3D 면 label로 변환합니다. 부품 p와 mesh 면 f에 대해 선택된 시점의 정규화 가중치와 검출 신뢰도, 해당 면이 mask에 포함되는지를 곱해 증거를 합산하고, 가장 큰 누적값의 부품을 면에 할당합니다. 지지가 없는 면은 기본 부품에 넣고, 이후 인접 그래프의 최단 경로로 연결 성분 사이의 빈 영역을 보완합니다.

각 관절은 rigid-body 부품 사이의 SE(3) 변환으로 표현되며, 이동 관절은 3차원 단위 방향과 프레임별 스칼라 변위로 계산합니다. 회전 관절은 3차원 회전축 방향, 축 위의 점, 프레임별 회전각을 사용해 rest-pose 점을 회전시킨 뒤 평행 이동합니다. 변환된 3D 점을 카메라 내부 파라미터로 2D에 투영하고 CoTracker3의 관측 궤적과 비교하므로, 입력 mesh의 metric scale과 영상에서 얻은 상대 운동을 연결할 수 있습니다.

회전 운동은 점의 회전축까지 거리에 따라 변위량이 달라져 변위 크기의 변동계수가 커지고 궤적 방향이 휘어지는 반면, 이동 운동은 점들이 비슷한 변위량으로 직선 이동합니다. Rest2Art는 이 두 신호가 함께 가리키는 유형을 사용하고, 서로 다르면 회전 모델과 이동 모델을 모두 적합해 더 낮은 재투영 오차를 선택합니다. 예를 들어 서로 다른 점들이 동일한 방향으로 거의 같은 거리만큼 이동하면 이동 관절 후보의 오차가 작아지고, 점마다 이동량이 달라지며 방향이 바뀌면 회전 관절 후보가 유리해집니다.

단안 궤적만으로는 서로 다른 3D 회전축이 같은 2D 투영을 만들 수 있으므로, 영상 추적만으로 축 방향을 확정하지 않습니다. mesh 기반 penalty는 회전한 자식 부품이 부모 부품 내부로 침투하는 축을 낮게 평가하고, 인접 부품 경계의 주 방향을 축 보정에 사용합니다. 서로 다른 random seed로 두 개의 영상을 생성해 운동 유형이 일치할 때 궤적을 합쳐 다시 적합함으로써 생성 과정의 개별 오류 영향도 줄입니다.

분할 결과는 얇은 표면 패치이므로 정점 법선을 따라 안쪽으로 오프셋해 닫힌 mesh를 만들고, 절단 경계에서는 법선을 평활화해 형상 결함을 줄입니다. 서랍처럼 내부가 관찰되지 않은 부품에는 매개변수화한 inner tray를 생성해 외부 shell과 결합합니다. 이 단계가 있어야 최종 부품이 단순 시각 분할을 넘어 물리 simulation과 URDF export에 사용할 수 있는 체적 구조가 됩니다.

한계점

논문은 rest-state 입력이 본질적으로 ill-posed해 형상, 의미, 운동 prior가 서로 보완해야 한다고 명시합니다. 또한 더 복잡한 kinematic structure로 확장하는 일과 video diffusion model의 물리적 타당성을 높이는 일을 향후 과제로 남깁니다.

실무 활용

Rest2Art는 닫힌 가구의 사진, multi-view capture, 3D scan에서 부품별 형상과 회전·이동 관절을 복원해 interactive digital twin의 입력을 만듭니다. 표면 패치를 체적 mesh로 완성하므로 물리 시뮬레이션과 URDF export에 연결할 수 있습니다. 다만 논문은 복잡한 kinematic structure와 video diffusion model의 물리적 타당성을 향후 개선 과제로 남깁니다.

닫힌 캐비닛과 서랍장의 부품별 mesh 및 개폐 관절을 복원해 interactive simulation에 연결하는 작업
실내 scene scan이나 Replica·ScanNet 기반 가구를 digital twin으로 변환해 spatial planning에 활용하는 작업
single-image 3D generation 결과나 온라인 product photo에서 관절형 가구 구조를 추정하는 작업
분할된 표면 패치를 체적 부품으로 완성해 물리 시뮬레이터와 URDF export에 사용하는 작업

코드 공개 여부: 비공개

키워드

Digital Twin(디지털 트윈)Articulated Object Reconstruction(관절형 물체 복원)Rest-State Formulation(정지 상태 정식화)Explicit Mesh(명시적 메시)Vision-Language Model(비전-언어 모델)Segmentation Model(분할 모델)Video Diffusion Model(비디오 확산 모델)Geometric Consistency(기하학적 일관성)

용어 해설

정지 상태 정식화(Rest-State Formulation): — 물체가 닫힌 상태에 있어 실제 움직임이 관찰되지 않는 조건에서 구조와 관절을 추정하는 문제 설정입니다. 영상 속 변위 대신 정적 형상, 부품 의미, 사전 학습 모델의 운동 가설을 결합해 모호한 기하와 운동 정보를 보완합니다.
관절형 물체 복원(Articulated Object Reconstruction): — 가구처럼 여러 부품이 회전하거나 미끄러지는 물체에서 부품별 3D 형상과 연결 관절을 함께 복원하는 기술입니다. 각 부품의 표면, 운동 유형, 축과 위치를 추정해야 디지털 트윈을 시뮬레이션 가능한 형태로 만들 수 있습니다.
명시적 메시(Explicit Mesh): — 정점과 면, 그리고 면 사이의 표면 연결성을 직접 저장하는 3D 표현입니다. Rest2Art에서는 여러 모델의 2D 예측을 메시 표면에 투영하고 합쳐 부품 경계, 가림 관계, 공간적 일관성을 검증하는 중간 표현으로 사용합니다.
회전 관절(Revolute Joint): — 고정된 회전축을 중심으로 부품이 각도만큼 회전하는 관절입니다. 문이나 힌지형 부품의 움직임을 표현하며, 회전축 방향과 축 위의 한 점, 프레임별 회전 각도를 추정해야 합니다.
이동 관절(Prismatic Joint): — 하나의 방향을 따라 부품이 직선으로 이동하는 관절입니다. 서랍처럼 모든 추적점이 비슷한 변위량을 갖는 움직임을 표현하며, 이동 방향과 프레임별 이동량을 추정합니다.

닫힌 가구에서 관절 구조를 복원하는 Rest2Art

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

가려진 실내 장면을 편집 가능한 3D 객체로 복원하는 Lucida