PhysX-Omni: 강체, 변형체, 그리고 관절 객체를 위한 통합 시뮬레이션-준비 물리적 3D 생성

기존의 3D 생성 방법은 물리 속성이나 카테고리 다양성의 포괄에 한계가 있다. PhysX-Omni는 VLM 기반의 글로벌-로컬 추론과 고해상도 기하 표현을 도입하여 시뮬레이션에 바로 투입 가능한 자산을 생성하고 PhysXVerse 데이터셋과 PhysX-Bench를 통해 물리 속성·절대 스케일·운동학 등을 실제 조건에서 평가할 수 있게 한다. 이로써 embodied AI 및 로봇 시뮬레이션 분야의 파이프라인 확장을 가능하게 한다.

출발점: Vision-Language Models는 시각적 입력으로부터 구조적 정보를 추정하기 어려운 3D 형태를 직접 예측하기 어렵다. 기존 방식은 분할 기반의 기하 표현이나 segmentation 모듈에 의존하는 경우가 많아 고해상도 디테일과 파트 간 관계의 정확성이 떨어진다. 본 논문은 이러한 한계를 극복하기 위해 텍스트 기반의 고해상도 3D 기하 표현을 도입하고, 글로벌 정보(카테고리, 절대 스케일, 구성요소 트리)로부터 파트별 기하 정보를 순차적으로 생성하는 VLM 기반 coarse-to-fine 파이프라인을 제안한다. 제안 방식은 텍스트 토큰 공간에 추가 토큰 없이 고해상도 기하를 직접 모델링하며, TRELLIS 디코더와의 호환성을 유지한다. 결과적으로 시뮬레이션-준비 자산의 구조적 일관성, 물리적 속성의 정합성, 그리고 관절 객체의 작동 타당성이 크게 향상된다. 또한 PhysXVerse와 PhysX-Bench를 통해 다양한 카테고리와 야생 환경에서의 일반화와 인간 평가 일치성을 검증한다.

단계1(전체 접근): 입력 이미지(완전/부분 가려짐)로부터 객체의 범주, 고유식별성, 절대 스케일, 구성요소 계층, 물리적 속성 등의 글로벌 정보를 추정한다. 그런 후 이 글로벌 정보를 바탕으로 파트별 기하 구조와 물리 속성을 상세화한다. 단계2(기하 표현): 자산을 보셀로 격자화하고 z축으로 분할한 후 각 슬라이스를 2D 마스크(이진 이미지)로 나눈다. 각 슬라이스에 2D Run-Length Encoding(RLE)을 적용해 텍스트 토큰으로 표현하고, 서로 다른 슬라이스 간의 유사 구조를 템플릿 레이어로 공유하여 토큰 중복을 줄인다. 단계3(디코딩/학습): 텍스트 기반 기하 표현을 TRELLIS 디코더에 입력해 고해상도 메쉬를 재생성한다. 학습은 VLM 백본(Alibaba Qwen2.5-VL-7B-Instruct)으로 수행되며, 최대 시퀀스 길이는 16,384 토큰이다. 데이터는 PhysXVerse, PhysXNet, PhysX-Mobility를 혼합해 학습하고, 64 GPUs에서 5에폭, 14일 걸려 최적화한다. 단계4(평가/벤치마크): PhysX-Bench를 통해 6개 차원(geometry, absolute scale, material, affordance, kinematic, description)으로 평가하고, PSNR/CD/F-score 같은 전통 지표와 물리 속성 지표를 함께 사용한다. 이 구조를 통해 시뮬레이션-준비 자산의 범용성과 물리 일관성을 확보한다.

주요 벤치마크 및 실험 결과: PhysXVerse에서의 Geometry PSNR 21.52, CD 2.95, F-score 91.28, Absolute scale 2.79, Material 27.23, Affordance 21.47, Kinematic 0.9185, Description 31.05. PhysX-Mobility에서도 PSNR 18.38, CD 4.70, F-score 88.50, Absolute scale 2.78, Kinematic 0.8603 등 우수한 성능을 보였다. PhysX-Bench의 클립 점수 및 3D Consistency, Visual Quality에서도 경우에 따라 0.54–0.77 범위의 CLIP-상관 및 64–90의 시각 품질 수치를 달성하였다. Ablation 연구에서 템플릿 기반 2D RLE이 baseline(text-based voxel indices) 대비 3D-운동성 및 절대 스케일에서 큰 개선을 보였고, 절대 스케일 오차가 PhysXGen/PhysX-Anything 대비 대폭 감소했다. 또한 로봇 정책 학습 및 시뮬레이션 씬 생성에 직접 적용 가능하다는 점이 확인되었다.

아키텍처: VLM 기반의 글로벌-로컬(Coarse-to-Fine) 생성 파이프라인. 입력 이미지로부터 객체 카테고리/스케일/부품 계층/물성 정보를 추출하는 Global Understanding 모듈. 기하 표현은 고해상도 3D 구조를 직접 모델링하는 템플릿 기반 2D RLE로 구현되며, 2D 마스크를 z-축으로 슬라이스하여 텍스트 토큰으로 인코딩한다. 템플릿 레이어를 통해 슬라이스 간 구조 변이를 효과적으로 공유하고, 전체 시퀀스 길이를 절감한다. 디코더로 TRELLIS를 사용해 텍스트-기반 표현을 고품질 메시에 매핑한다. 학습 데이터로 PhysXVerse/PhysXNet/PhysX-Mobility를 혼합하고, VLM 백본으로 Alibaba Qwen2.5-VL-7B-Instruct를 사용한다. 학습 구성은 64 GPUs에서 5에폭, 14일 소요, 최대 시퀀스 길이 16,384 토큰. 평가 방식은 PhysX-Bench의 6개 차원과 conventional 지표를 병행한다.

highly complex 구조의 기하학적 세부 묘사는 여전히 개선 여지가 있다. 프레임워크가 물리 속성/시뮬레이션에 중점을 두고 있어 appearance-oriented 지표에서의 성능은 다소 제한될 수 있다.