ReconPhys: 단일 비디오로부터 외형 및 물리적 속성 재구성

기존의 비강체 객체 재구성은 장면마다 수 시간의 최적화가 필요했으나, 이 논문은 이를 1초 미만의 피드포워드 추론으로 단축했다. 단일 카메라 영상만으로 물체의 기하학적 구조뿐 아니라 질량, 강성 등 물리적 특성까지 동시에 추정하여 로보틱스와 그래픽스 분야의 시뮬레이션 에셋 제작 효율을 극대화한다.

기존의 3D Gaussian Splatting(3DGS)은 물체의 겉모습을 실시간으로 렌더링하는 데 탁월하지만, 물체가 외부 힘에 의해 어떻게 변형될지에 대한 물리적 이해는 부족하다. 이를 해결하기 위해 물체의 내부 구조를 수많은 점(Mass point)과 이들을 잇는 스프링(Spring)의 집합으로 모델링하는 '스프링-질량 시스템' 개념을 도입한다. 각 점은 질량을 가지고, 스프링은 강성과 감쇠 계수를 가져 물체의 탄성과 움직임을 결정한다.

ReconPhys는 비디오에서 관찰되는 물체의 움직임(예: 바닥에 떨어져 튀어 오르는 모습)을 이 스프링-질량 시스템의 결과물로 해석한다. 딥러닝 모델은 비디오 프레임 간의 변화를 분석하여 해당 물체가 얼마나 무거운지, 얼마나 딱딱한지 등의 물리적 상수를 직접 예측한다. 이때 예측된 물리 상수를 바탕으로 시뮬레이션을 실행하고, 그 결과로 변형된 3DGS 모델을 다시 이미지로 렌더링하여 실제 비디오와 비교한다.

이 과정에서 발생하는 렌더링 오차는 미분 가능한 시뮬레이터를 거쳐 물리 속성 예측 모델로 역전파된다. 결과적으로 모델은 별도의 물리 정답지 없이도 '비디오 속 움직임을 가장 잘 설명하는 물리적 특성'을 스스로 찾아내게 된다. 이는 기존에 수 시간이 걸리던 최적화 과정을 단 한 번의 모델 실행(Inference)으로 대체하여 실시간에 가까운 속도를 구현한다.

ReconPhys는 3DGS Predictor와 Physical Predictor로 구성된 듀얼 브랜치 아키텍처를 채택한다. 3DGS Predictor는 입력 이미지로부터 물체의 정적인 기하학적 구조와 외형을 나타내는 Canonical Gaussians를 생성한다. Physical Predictor는 InternViT 기반의 비전 인코더와 ResNet 백본을 사용하여 비디오 프레임에서 동적 특징을 추출하고, MLP 디코더를 통해 질량(m), 강성(k), 감쇠(d), 마찰(f) 파라미터를 회귀한다.

물리적 시뮬레이션을 위해 3DGS 커널들로부터 볼륨 샘플링을 통해 소수의 앵커 포인트를 추출하고 이를 스프링-질량 시스템으로 연결한다. 각 스프링의 힘은 F = -k(||x_i - x_j|| - l_ij)^p * (x_i - x_j)/||x_i - x_j|| [입력: 현재 위치 x, 정지 길이 l, 강성 k, 지수 p → 연산: Hooke의 법칙 기반 탄성력 계산 → 출력: 앵커에 작용하는 힘 F] 순으로 계산된다. 이 힘을 바탕으로 Semi-implicit Euler integration을 수행하여 다음 단계의 위치와 속도를 업데이트한다.

시뮬레이션된 앵커의 위치 변화는 Inverse Distance Weighting(IDW) 보간법을 통해 수만 개의 Gaussian 센터로 전달된다. 최종적으로 변형된 Gaussian들을 렌더링하여 얻은 예측 프레임과 실제 비디오 프레임 사이의 Photometric Loss를 계산한다. 학습 시에는 Self-Forcing 기법을 적용하여 이전 단계의 예측 상태를 다음 단계의 입력으로 사용하여 장기적인 시뮬레이션 안정성을 확보한다.

실험 결과, ReconPhys는 미지의 객체에 대한 미래 상태 예측(Future Prediction)에서 21.64 PSNR을 기록하여, 기존 최적화 기반 SOTA 모델인 Spring-Gaus(13.27 PSNR)를 크게 앞질렀다. 기하학적 정확도를 나타내는 Chamfer Distance(CD) 또한 0.349에서 0.004로 획기적으로 감소시켜 물리적으로 타당한 변형을 수행함을 입증했다.

특히 효율성 측면에서 기존 방식들이 장면당 1시간 이상의 최적화 시간을 요구했던 것과 달리, ReconPhys는 1초 미만의 시간으로 동일한 작업을 완수한다. 또한 동일한 외형을 가졌으나 물리적 속성이 다른 물체들을 비디오 관찰만으로 정확히 구분해내는 물리적 얽힘 해제(Physical Disentanglement) 성능을 보여주었다.

ReconPhys는 3DGS의 명시적 표현력과 미분 가능한 물리 엔진의 제약 조건을 결합한 하이브리드 구조다. 핵심은 Frozen된 3DGS Predictor를 사용하여 시각적 재구성을 안정화하고, 오직 Physical Predictor의 학습에만 집중하게 함으로써 시각적 단서로부터 물리적 파라미터로의 매핑을 효율적으로 학습하는 것이다. 이는 물리적 사전 지식(Physical Prior)이 정규화 도구(Regularizer)로 작용하여 외형만 흉내 내는 것이 아니라 실제 물리 법칙을 따르는 변형을 유도한다.

학습 파이프라인에서는 Truncated Backpropagation을 사용하여 긴 시뮬레이션 궤적에서의 그래디언트 폭주 문제를 해결했다. 또한 대규모 합성 데이터셋 구축 시 Qwen3-8B를 활용한 시맨틱 필터링과 TRELLIS를 이용한 고품질 3DGS 복원을 결합하여 데이터의 질을 높였다. 이러한 접근은 데이터 기반의 학습과 물리 법칙 기반의 시뮬레이션을 종단간(End-to-end)으로 연결하여 제로샷 일반화 성능을 확보했다는 점에서 기술적 차별성을 갖는다.

본 논문은 주로 자유 낙하, 충돌, 리바운드와 같은 중력 하의 동역학에 집중하고 있으며, 더 복잡한 유체 역학이나 파손(Fracture)과 같은 현상은 다루지 않는다. 또한 단안 비디오의 가려짐(Occlusion) 문제로 인해 보이지 않는 부분의 물리적 속성 추정에는 한계가 있을 수 있다.