SIMART: MLLM을 통한 단일 메쉬의 시뮬레이션 가능 관절 자산 분해

로봇 시뮬레이션을 위한 관절 객체 제작은 수작업에 의존해 비용이 매우 높았다. 이 논문은 MLLM과 희소 토큰 기법을 결합해 단일 메쉬로부터 부품 분해와 물리적 작동 원리를 동시에 추출함으로써 시뮬레이션 자산 제작의 자동화를 실현했다.

3D 데이터를 처리할 때 흔히 공간을 격자로 나누는 복셀(Voxel) 방식을 사용한다. 하지만 대부분의 물체는 표면에만 정보가 있고 내부는 비어 있어, 모든 격자를 데이터로 처리하면 불필요한 빈 공간 정보 때문에 메모리와 연산량이 낭비되는 한계가 있다. SIMART는 Sparse 3D VQ-VAE를 도입하여 실제 물체가 있는 지점만 골라 토큰화한다. 비어 있는 공간은 무시하거나 특수한 제로 토큰으로 대체함으로써, Transformer 모델이 처리해야 할 데이터 길이를 70% 이상 줄이면서도 물체의 정교한 기하학적 특징은 그대로 유지한다. 이렇게 압축된 3D 토큰은 언어 모델이 이미지 및 텍스트와 함께 통합적으로 추론한다. 모델은 물체의 외형뿐만 아니라 부품 간의 연결 관계와 가동 범위 같은 물리적 특성을 학습된 지식을 바탕으로 계산하여, 시뮬레이션에 즉시 투입 가능한 설계도를 한 번에 생성한다.

입력된 3D 메쉬를 64^3 해상도의 복셀 그리드로 변환한 뒤 Sparse 3D VQ-VAE 인코더에 통과시킨다. 인코더는 3D-UNet 구조를 통해 공간 특징을 추출하고, 이를 16^3 크기의 잠재 그리드로 압축하여 MLLM이 효율적으로 처리할 수 있는 기하 토큰 시퀀스로 변환한다. 잠재 벡터 z_i에 대해 코드북 벡터 e_j와의 L2 거리 ||z_i - e_j||_2를 계산하여 가장 가까운 인덱스로 양자화한다. 비어 있는 복셀에는 전용 제로 토큰을 할당하여 모델의 주의력을 점유된 영역에 집중시키며, 이를 통해 시퀀스 길이를 대폭 단축하고 연산 효율을 높인다. MLLM에서 출력된 부품별 토큰은 디코더를 통해 포인트 클라우드 S_p로 복원된다. 원본 메쉬의 각 정점 v와 S_p 사이의 거리 d(v, S_p)를 가우시안 커널 exp(-d^2 / 2σ^2)에 입력하여 소속 확률을 구하고, 그래프 평활화 연산을 적용해 최종적으로 매끄러운 부품 경계를 확정한다.

SIMART-Bench 평가 결과, 기존 SOTA 모델인 Particulate 대비 IoU 0.690(ID) 및 0.777(AI 생성)을 기록하며 압도적인 성능을 보였다. 특히 AI 생성 객체에 대한 Chamfer Distance는 0.079로 기하학적 복원력이 매우 뛰어남을 입증했다. 관절 구조 예측 정확도(Type Accuracy)는 ID 항목에서 0.928을 달성했으며, 회전축(Axis) 및 원점(Origin) 오차 역시 기존 멀티스테이지 방식들보다 현저히 낮게 나타났다. 소거 연구를 통해 희소 토큰 메커니즘이 메모리 소모를 줄이면서도 성능을 유지하는 핵심임을 확인했다. 밀집 토큰 방식은 4,138개의 토큰을 생성해 메모리 부족을 일으켰으나, 제안 방식은 516개의 토큰만으로 더 높은 정확도를 기록했다.

Qwen3-VL-8B를 백본으로 하여 이미지, 텍스트, 3D 기하 정보를 통합 처리하는 아키텍처를 채택했다. 3D 정보는 [xyz] [K] 형식의 좌표 인식형 토큰으로 변환되어 모델이 공간적 선후 관계를 명확히 파악하도록 설계했다. Sparse 3D VQ-VAE는 3D-UNet 인코더를 통해 64^3 복셀을 16^3 잠재 그리드로 압축하며, 비점유 공간에 전용 제로 토큰을 할당해 연산 효율을 높였다. 코드북은 4,096개의 엔트리를 사용하며 TRELLIS 데이터셋으로 사전 학습되어 높은 기하학적 충실도를 보장한다. MLLM이 생성한 부품별 토큰은 디코딩 후 그래프 기반 표면 분할 알고리즘을 거친다. 각 정점의 소속 확률을 가우시안 커널로 계산하고 그래프 평활화 연산을 적용하여 원본 메쉬의 고해상도 경계를 유지하면서도 정확한 부품 분할을 수행한다.

기존 관절 객체 데이터셋의 부족과 일관되지 않은 품질이 오픈 월드 환경으로의 일반화에 주요 제약으로 작용한다.