Deform360: 변형체 세계 모델을 위한 대규모 멀티뷰 시각촉각 데이터셋

왜 중요한가

변형체 조작은 유한 차원이 아닌 높은 자유도와 접촉에 따른 국소 변형으로 인해 장기 예측과 제어가 어려운 문제이다. Deform360은 대규모의 실제 다중 시점 영상과 동기화된 촉각 신호를 결합하여 가려진 접촉과 복잡한 물성 거동을 관찰할 수 있는 근거 데이터를 제공한다. 이 데이터는 2D 비디오 기반 모델과 3D 입자 기반 모델의 성능 및 확장성 차이를 정량적으로 비교할 수 있는 표준 벤치마크 역할을 수행한다.

핵심 기여

대규모 멀티뷰 시각촉각 데이터셋 수집

Deform360은 41대의 surround-view 카메라와 양수 UMI 촉각 그리퍼를 동기화하여 총 198개 일상 물체에 대해 1,980개의 상호작용 시퀀스와 23.3M 프레임, 누적 215.7시간의 기록을 구축했다. 각 에피소드에서 로봇의 6D 자세 및 그리퍼 개방도, 촉각 스트림이 함께 수집되어 행동-관측의 정밀한 연동이 가능하다. 물성별로 1D, 2D, 3D 볼륨형 물체를 포함해 범용성 높은 물체 분포를 확보했다.

마커리스 기반의 고정밀 3D 재구성 및 입자 궤적 주석 파이프라인

프레임별 3D Gaussian Splatting을 통해 고해상도 프레임 기하를 복원하고, 다중뷰 2D 트래킹(CoTracker3)을 3D 깊이 렌더와 결합하여 마커가 없는 입자 기반 추적을 수행했다. 추적 단계에서는 Chamfer 기반 형태 손실, ARAP(local rigidity), Laplacian 공간 정규화와 촉각 일치 항을 포함한 물리적 손실을 합성하여 시간적 일관성과 물리적 타당성을 확보했다. 이 최적화는 가려짐과 접촉이 많은 상황에서도 입자 정체성을 유지하는 궤적을 산출한다.

2D 비디오 모델과 3D 입자 모델의 체계적 비교 벤치마크

동일 데이터에서 2D action-conditioned 비디오 모델(Cosmos-Predict)과 3D 입자 기반 모델(ParticleFormer, PGND, PhysTwin)을 프레임·에피소드·객체 일반화 설정으로 평가했다. 결과는 저데이터(프레임·에피소드 소규모) 환경에서는 물리적 사전지식을 갖춘 3D 모델이 우세하고, 대규모·제로샷 객체 일반화 환경에서는 사전학습을 가진 2D 비디오 모델이 시각적 일반화에서 장점을 보인다는 교차적 통찰을 제공한다. 또한 이미지 품질(PSNR/SSIM/LPIPS)과 점군 오차(Chamfer)를 동시에 측정하여 시각적 복원과 물리적 정합성의 균형을 평가했다.

실제 로봇 적용을 위한 예비 MPC 기반 계획 실험

Deform360으로 학습한 3D 모델(PhysTwin 기반 표현)을 외부 환경의 분리된 로봇(xArm)에 제로샷으로 적용하여 MPC로 목표 상태 달성 실험을 수행했다. 3D 표현이 기하학적 손실(Chamfer)을 직접 비용으로 사용 가능하여 비디오 기반 모델보다 보상 설계 측면에서 직관적이라는 점이 실증되었다. 이 데모는 데이터셋의 실세계 적용 가능성을 보이는 예비 결과로 제시되었다.

핵심 아이디어 이해하기

변형체 세계 모델링 문제는 객체의 상태 표현이 픽셀 수준(2D)이나 기하학적 입자·메시 수준(3D) 중 어느 쪽에 기반하느냐에 따라 근본적으로 다른 장단점을 보인다. 2D 비디오 기반 접근법은 대규모 시각 데이터로부터 외관과 텍스처를 효율적으로 학습하여 제로샷 시각적 일반화에 강점을 가지지만, 깊이 정보와 물리적 제약이 암묵적이라 장기적 물리 일관성이 깨질 위험이 있다. 반대로 3D 입자 기반 접근은 명시적 공간 표현과 물리적 제약을 통해 적은 데이터로도 장기 안정성과 물리 타당성을 확보하기 유리하다.

방법론

데이터 수집은 41대 카메라를 고정한 surround-view rig와 촉각 센서가 장착된 양수 UMI 그리퍼를 사용해 각 에피소드에서 RGB 영상, 그리퍼의 6D 자세, 촉각 스트림을 30Hz로 동기화하는 방식으로 이루어졌다. 프레임별 재구성 단계에서는 3D Gaussian Splatting을 적용해 각 프레임의 고해상도 기하를 얻고, 물체 분할 마스크로 세그먼트된 영상만을 입력으로 사용해 객체 전용 재구성을 확보했다. 추적 단계에서는 CoTracker3로 2D 트랙을 얻고 이를 3D 깊이 맵과 카메라 내부/외부 파라미터를 이용해 역투영하여 다중뷰 추정값을 RANSAC 융합한 뒤 Chamfer·ARAP·Laplacian·tactile 항을 포함한 물리 기반 손실을 경사하강법으로 최적화하여 시간적·공간적 일관성을 보장했다.

주요 결과

3D 재구성 품질은 전체 평균 PSNR 27.66 dB, SSIM 0.96, LPIPS 0.0708로 측정되었고, 3D 볼류메트릭 물체는 PSNR 30.00 dB로 가장 높은 재구성 품질을 나타났다. 촉각 통합은 추적 정확성 개선에 유의미한 영향을 미쳤고, visuotactile 추적의 워프된 점군 Chamfer 오차는 2.71×10^-5 m^2로 비촉각 기반 추적의 1.41×10^-4 m^2보다 약 5배 낮았다. 세계 모델 벤치마크에서는 프레임·에피소드 일반화에서는 PhysTwin 같은 물리 기반 방법이 우세했으나 객체 제로샷 일반화에서는 사전학습이 있는 Cosmos-Predict가 이미지 품질 지표에서 더 좋은 성능을 보였으며, 이는 구조적 사전지식과 사전학습의 상호보완적 역할을 시사한다.

기술 상세

데이터 수집 설정은 41대 카메라(H×W=720×1280, 30FPS)와 양수 UMI 촉각 그리퍼로 구성되며 각 카메라의 intrinsic K_n과 extrinsic E_n이 캘리브레이션되어 있다. 프레임별 기하 복원은 3D Gaussian Splatting을 사용하며 각 Gaussian은 위치 μ_k, 분산 Σ_k(회전 R_k와 스케일 S_k로 분해), 불투명도 α_k, 보기 의존 색상 계수를 가진다. 3DGS 최적화 손실은 L1과 SSIM의 가중합으로 설정되며 논문과 동일하게 λ_gs=0.2가 사용되었다.

한계점

논문에서 명시한 한계는 세 가지로 요약된다. 첫째, 심한 자기 가려짐 상황에서는 다수의 카메라에도 불구하고 추적 품질이 저하될 수 있다. 둘째, 극도로 소성(plastic)인 재료는 ARAP 및 평활성 가정과 충돌해 최적화가 실패할 가능성이 존재한다. 셋째, 사용된 촉각 센서는 법선 축 압력만 측정하므로 미세한 미끄럼(tangential slip) 검출이 불가능하며, 데이터 수집 시 미끄럼을 의도적으로 회피해 일부 실제 접촉 유형이 제외되었다.

실무 활용

데이터셋과 주석 파이프라인은 로봇 조작 연구에서 변형체 동역학 모델 학습과 평가에 직접적으로 활용 가능하다. 3D 입자 표현은 MPC와 결합해 실제 로봇에서 목표 상태 달성용 비용함수로 바로 사용할 수 있다. GitHub 저장소로 코드와 데이터 접근성이 제공되어 연구·응용 재현성이 확보되었다.

로봇 핸들링 시스템에서 변형체의 행동 예측 모델을 학습해 계획-제어 루프에 통합하는 실험
촉각-시각 융합 모델을 개발하여 가려진 접촉 상황에서의 추적과 접촉 인식을 개선하는 연구
2D 비디오 모델과 3D 구조화 모델의 하이브리드 학습 전략을 검증하는 벤치마크 실험
물성 추정 및 시뮬레이터 매칭을 위한 파라미터 학습 데이터로 활용

코드 공개 여부: 공개

코드 저장소 보기

키워드

world modeling(월드 모델링)visuotactile dataset(시각-촉각 데이터셋)particle-based dynamics(입자 기반 동역학)3D Gaussian Splatting(3D 가우시안 스플래팅)model predictive control(MPC)

용어 해설

3D 가우시안 스플래팅(3D Gaussian Splatting): — 3D Gaussian Splatting은 장면을 다수의 anisotropic Gaussian으로 표현하고 이들을 레스터화하여 색상과 깊이 맵을 생성하는 재구성 기법이다. 각 Gaussian은 평균 위치와 공분산, 불투명도 및 보기 의존 색상 계수를 지니며 프레임별 최적화를 통해 고해상도 렌더링을 얻는다. 본 논문에서는 프레임별 고해상도 기하 복원을 위해 이 기법을 사용하여 후속 입자 추적의 기하적 기준을 제공했다.
입자 기반 동역학(Particle-based Dynamics): — 입자 기반 동역학은 변형체를 유한 개수의 입자 집합으로 근사하고 입자 간 상호작용 규칙이나 신경망을 통해 시간에 따른 상태 전이를 모델링하는 방법이다. 이 방식은 명시적 3D 구조를 보유하므로 물리적 제약과 거리 보존 같은 구조적 사전지식을 자연스럽게 포함할 수 있다. 논문에서는 입자 궤적을 생성·학습하여 3D 기반의 장기 안정성과 물리적 일관성을 평가하는 데 활용되었다.
촉각 센싱(Tactile Sensing): — 촉각 센싱은 로봇 그리퍼에 장착된 압력/힘 센서를 통해 접촉 시의 국소적 힘 신호를 시간축으로 기록하는 모달리티이다. 시각적으로 가려진 접촉 부위를 직접 관찰 가능한 물리 신호로 보정할 수 있어 추적과 물리 제약 최적화에 유용하다. 본 데이터셋은 동기화된 촉각 스트림을 이용해 추적 정합성과 접촉 예측을 향상시켰다.
참퍼 거리(Chamfer Distance): — Chamfer Distance는 두 점군 간의 대응성을 측정하는 지표로, 각 점에서 반대 점군으로의 최단거리 제곱의 평균 합으로 정의된다. 입자 기반 복원 및 예측의 기하적 오차를 계량화할 때 사용되며 값이 작을수록 점군 간 정합성이 높음을 의미한다. 논문에서는 궤적 예측의 정밀도를 평가하는 주요 정량 지표로 사용되었다.
모델 예측 제어(Model Predictive Control): — Model Predictive Control은 현재 상태에서 학습된 동역학 모델을 사용하여 미래 궤적을 예측하고 최적화된 행동 시퀀스를 반복적으로 계산하여 적용하는 폐쇄형 제어 기법이다. 예측된 궤적 기준 손실(예: Chamfer distance)을 비용으로 최소화하여 로봇의 조작 행동을 생성한다. 본 연구에서는 Deform360으로 학습한 3D 모델을 MPC에 연결해 변형체 조작을 실제 로봇에 제어하는 데 사용되었다.

Deform360: 변형체 세계 모델을 위한 대규모 멀티뷰 시각촉각 데이터셋

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

촉각과 힘까지 기록한 HOI 조작 데이터셋

한 대의 듀얼 어안 카메라로 만든 360도 BEV 데이터셋

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

촉각과 힘까지 기록한 HOI 조작 데이터셋

한 대의 듀얼 어안 카메라로 만든 360도 BEV 데이터셋