TL;DR
변형체 조작은 유한 차원이 아닌 높은 자유도와 접촉에 따른 국소 변형으로 인해 장기 예측과 제어가 어려운 문제이다. Deform360은 대규모의 실제 다중 시점 영상과 동기화된 촉각 신호를 결합하여 가려진 접촉과 복잡한 물성 거동을 관찰할 수 있는 근거 데이터를 제공한다. 이 데이터는 2D 비디오 기반 모델과 3D 입자 기반 모델의 성능 및 확장성 차이를 정량적으로 비교할 수 있는 표준 벤치마크 역할을 수행한다.
왜 중요한가
변형체 조작은 유한 차원이 아닌 높은 자유도와 접촉에 따른 국소 변형으로 인해 장기 예측과 제어가 어려운 문제이다. Deform360은 대규모의 실제 다중 시점 영상과 동기화된 촉각 신호를 결합하여 가려진 접촉과 복잡한 물성 거동을 관찰할 수 있는 근거 데이터를 제공한다. 이 데이터는 2D 비디오 기반 모델과 3D 입자 기반 모델의 성능 및 확장성 차이를 정량적으로 비교할 수 있는 표준 벤치마크 역할을 수행한다.
핵심 기여
대규모 멀티뷰 시각촉각 데이터셋 수집
Deform360은 41대의 surround-view 카메라와 양수 UMI 촉각 그리퍼를 동기화하여 총 198개 일상 물체에 대해 1,980개의 상호작용 시퀀스와 23.3M 프레임, 누적 215.7시간의 기록을 구축했다. 각 에피소드에서 로봇의 6D 자세 및 그리퍼 개방도, 촉각 스트림이 함께 수집되어 행동-관측의 정밀한 연동이 가능하다. 물성별로 1D, 2D, 3D 볼륨형 물체를 포함해 범용성 높은 물체 분포를 확보했다.
마커리스 기반의 고정밀 3D 재구성 및 입자 궤적 주석 파이프라인
프레임별 3D Gaussian Splatting을 통해 고해상도 프레임 기하를 복원하고, 다중뷰 2D 트래킹(CoTracker3)을 3D 깊이 렌더와 결합하여 마커가 없는 입자 기반 추적을 수행했다. 추적 단계에서는 Chamfer 기반 형태 손실, ARAP(local rigidity), Laplacian 공간 정규화와 촉각 일치 항을 포함한 물리적 손실을 합성하여 시간적 일관성과 물리적 타당성을 확보했다. 이 최적화는 가려짐과 접촉이 많은 상황에서도 입자 정체성을 유지하는 궤적을 산출한다.
2D 비디오 모델과 3D 입자 모델의 체계적 비교 벤치마크
동일 데이터에서 2D action-conditioned 비디오 모델(Cosmos-Predict)과 3D 입자 기반 모델(ParticleFormer, PGND, PhysTwin)을 프레임·에피소드·객체 일반화 설정으로 평가했다. 결과는 저데이터(프레임·에피소드 소규모) 환경에서는 물리적 사전지식을 갖춘 3D 모델이 우세하고, 대규모·제로샷 객체 일반화 환경에서는 사전학습을 가진 2D 비디오 모델이 시각적 일반화에서 장점을 보인다는 교차적 통찰을 제공한다. 또한 이미지 품질(PSNR/SSIM/LPIPS)과 점군 오차(Chamfer)를 동시에 측정하여 시각적 복원과 물리적 정합성의 균형을 평가했다.
실제 로봇 적용을 위한 예비 MPC 기반 계획 실험
Deform360으로 학습한 3D 모델(PhysTwin 기반 표현)을 외부 환경의 분리된 로봇(xArm)에 제로샷으로 적용하여 MPC로 목표 상태 달성 실험을 수행했다. 3D 표현이 기하학적 손실(Chamfer)을 직접 비용으로 사용 가능하여 비디오 기반 모델보다 보상 설계 측면에서 직관적이라는 점이 실증되었다. 이 데모는 데이터셋의 실세계 적용 가능성을 보이는 예비 결과로 제시되었다.
핵심 아이디어 이해하기
변형체 세계 모델링 문제는 객체의 상태 표현이 픽셀 수준(2D)이나 기하학적 입자·메시 수준(3D) 중 어느 쪽에 기반하느냐에 따라 근본적으로 다른 장단점을 보인다. 2D 비디오 기반 접근법은 대규모 시각 데이터로부터 외관과 텍스처를 효율적으로 학습하여 제로샷 시각적 일반화에 강점을 가지지만, 깊이 정보와 물리적 제약이 암묵적이라 장기적 물리 일관성이 깨질 위험이 있다. 반대로 3D 입자 기반 접근은 명시적 공간 표현과 물리적 제약을 통해 적은 데이터로도 장기 안정성과 물리 타당성을 확보하기 유리하다.
방법론
데이터 수집은 41대 카메라를 고정한 surround-view rig와 촉각 센서가 장착된 양수 UMI 그리퍼를 사용해 각 에피소드에서 RGB 영상, 그리퍼의 6D 자세, 촉각 스트림을 30Hz로 동기화하는 방식으로 이루어졌다. 프레임별 재구성 단계에서는 3D Gaussian Splatting을 적용해 각 프레임의 고해상도 기하를 얻고, 물체 분할 마스크로 세그먼트된 영상만을 입력으로 사용해 객체 전용 재구성을 확보했다. 추적 단계에서는 CoTracker3로 2D 트랙을 얻고 이를 3D 깊이 맵과 카메라 내부/외부 파라미터를 이용해 역투영하여 다중뷰 추정값을 RANSAC 융합한 뒤 Chamfer·ARAP·Laplacian·tactile 항을 포함한 물리 기반 손실을 경사하강법으로 최적화하여 시간적·공간적 일관성을 보장했다.
관련 Figure
이 그림은 수집 장비 구성과 데이터 규모를 직관적으로 제시하여 연구가 다루는 입력 모달리티와 적용 범위를 명확히 한다. 각 모달리티(멀티뷰 RGB, 촉각, 3D 추적)가 어떤 downstream 작업(접촉 예측, 2D/3D 모델 비교, 로봇 계획)에 쓰이는지를 연결선으로 표시해 데이터셋의 설계 의도를 보여준다. 연구의 주요 기여가 데이터 규모와 다중 모달 통합에 있다는 점을 시각적으로 확인할 수 있다.
데이터셋 개요 다이어그램으로 198개 물체, 41대 카메라, 양수 촉각 그리퍼, 360도 멀티뷰 캡처와 연구 적용(접촉 검출, 2D/3D 모델, 로봇 MPC)을 한눈에 정리하고 있다.
이 이미지는 2D→3D 리프팅과 입자 기반 추적이 시간적으로 어떻게 물체 형상을 보존하는지 시각적으로 보여준다. 색으로 표시된 점들은 추적된 입자들의 위치 변화를 나타내며, 가려짐과 그리퍼 간섭이 존재하는 상황에서도 궤적 일관성이 유지되는지 확인 가능하다. 논문에서 제시한 CoTracker3 기반의 2D 트래킹과 3DGS 깊이 맵 역투영 방식이 실세계 로프 동작에 적용될 수 있음을 뒷받침한다.
다중 뷰에서 로프(1D deformable)의 시간에 따른 트래킹 결과를 색상으로 표시한 연속 프레임 시퀀스 이미지이다.
해당 시퀀스는 부피형 물체에서 입자 추적이 어떻게 표면 기하를 따라 움직이는지를 보여주며, 특히 그리퍼로 인한 접촉과 국소적 압전체의 형상 변화가 반영된 점들을 관찰할 수 있다. 이러한 시각화는 프레임별 3DGS 재구성 결과와 물리적 제약(ARAP, Laplacian 등)이 결합되어 시간적 일관성을 이루는지를 실험적으로 확인하도록 돕는다. 접촉이 많은 구간에서 촉각 정보가 통합될 때 추적 오류가 줄어드는 논문의 정량 결과와 일치한다.
봉제 인형(3D volumetric)의 다중 시점 시간 흐름으로, 표면에 다수의 입자 추적 포인트가 겹쳐 이동하는 모습이 표시되어 있다.
주요 결과
3D 재구성 품질은 전체 평균 PSNR 27.66 dB, SSIM 0.96, LPIPS 0.0708로 측정되었고, 3D 볼류메트릭 물체는 PSNR 30.00 dB로 가장 높은 재구성 품질을 나타났다. 촉각 통합은 추적 정확성 개선에 유의미한 영향을 미쳤고, visuotactile 추적의 워프된 점군 Chamfer 오차는 2.71×10^-5 m^2로 비촉각 기반 추적의 1.41×10^-4 m^2보다 약 5배 낮았다. 세계 모델 벤치마크에서는 프레임·에피소드 일반화에서는 PhysTwin 같은 물리 기반 방법이 우세했으나 객체 제로샷 일반화에서는 사전학습이 있는 Cosmos-Predict가 이미지 품질 지표에서 더 좋은 성능을 보였으며, 이는 구조적 사전지식과 사전학습의 상호보완적 역할을 시사한다.
관련 Figure
이미지는 특히 가려짐이 발생하는 구간에서 촉각을 포함한 추적이 시각만 사용할 때보다 표면 재구성에 더 안정적이라는 점을 강조한다. 논문에서 제시한 visuotactile 추적의 Chamfer 오차 개선 수치와 시각적 차이가 일치하며, 촉각 통합이 접촉 주변 입자들의 위치 추정을 보정하는 메커니즘임이 드러난다. 또한 RGB 기반 재구성만으로는 접촉 시의 내부 물리 신호를 복원하기 어렵다는 한계를 시각적으로 확인할 수 있다.
천(2D deformable) 물체의 시간 축 추적 비교로 상단은 비주얼 트래킹, 중간은 촉각 미통합 추적, 하단은 RGB 소스가 표시되어 각각의 차이를 보여준다.
이 피규어는 시각-촉각 결합 학습으로 얻은 접촉 예측의 F1 스코어 분포와 각 카메라 뷰에서의 예측 성능을 공간적으로 매핑해 보여준다. 모델이 시각 정보만으로도 88.67%의 정확도와 F1 0.8909를 달성했다는 정량 결과와 일치하며, 이는 접촉에 따른 표면 변형의 시각적 신호가 학습 가능한 형태로 존재함을 시사한다. 또한 특정 뷰에서 성능이 상대적으로 낮은 구간은 카메라 시야와 접촉 부위의 가려짐 관계를 반영한다.
시각 입력으로부터 접촉 유무를 예측하는 접촉 검출 실험의 결과를 3D 뷰와 각 카메라 입력 샘플로 함께 시각화한 그림이다.
이 시각화는 객체 제로샷 일반화 설정에서 2D 비디오 모델과 3D 모델의 성능 편차를 공간적으로 비교하도록 설계되어 있다. Cosmos-Predict가 이미지 품질 지표에서 우수한 반면, 3D 모델은 기하적 오류에서 더 큰 변동을 보이는 경우가 있다는 논문의 정량적 결과를 시각적으로 보강한다. 그림의 컬러바와 카메라 인서트는 각 카메라 뷰에서의 성능 분산과 사전학습의 이점이 어떻게 발현되는지 확인하도록 돕는다.
다중 객체 일반화 실험에서 여러 카메라 관측과 예측 F1/PSNR 스코어를 3D 시각화로 배치한 이미지로, 객체별 예측 성능 차이를 보여준다.
기술 상세
데이터 수집 설정은 41대 카메라(H×W=720×1280, 30FPS)와 양수 UMI 촉각 그리퍼로 구성되며 각 카메라의 intrinsic K_n과 extrinsic E_n이 캘리브레이션되어 있다. 프레임별 기하 복원은 3D Gaussian Splatting을 사용하며 각 Gaussian은 위치 μ_k, 분산 Σ_k(회전 R_k와 스케일 S_k로 분해), 불투명도 α_k, 보기 의존 색상 계수를 가진다. 3DGS 최적화 손실은 L1과 SSIM의 가중합으로 설정되며 논문과 동일하게 λ_gs=0.2가 사용되었다.
한계점
논문에서 명시한 한계는 세 가지로 요약된다. 첫째, 심한 자기 가려짐 상황에서는 다수의 카메라에도 불구하고 추적 품질이 저하될 수 있다. 둘째, 극도로 소성(plastic)인 재료는 ARAP 및 평활성 가정과 충돌해 최적화가 실패할 가능성이 존재한다. 셋째, 사용된 촉각 센서는 법선 축 압력만 측정하므로 미세한 미끄럼(tangential slip) 검출이 불가능하며, 데이터 수집 시 미끄럼을 의도적으로 회피해 일부 실제 접촉 유형이 제외되었다.
실무 활용
데이터셋과 주석 파이프라인은 로봇 조작 연구에서 변형체 동역학 모델 학습과 평가에 직접적으로 활용 가능하다. 3D 입자 표현은 MPC와 결합해 실제 로봇에서 목표 상태 달성용 비용함수로 바로 사용할 수 있다. GitHub 저장소로 코드와 데이터 접근성이 제공되어 연구·응용 재현성이 확보되었다.
- 로봇 핸들링 시스템에서 변형체의 행동 예측 모델을 학습해 계획-제어 루프에 통합하는 실험
- 촉각-시각 융합 모델을 개발하여 가려진 접촉 상황에서의 추적과 접촉 인식을 개선하는 연구
- 2D 비디오 모델과 3D 구조화 모델의 하이브리드 학습 전략을 검증하는 벤치마크 실험
- 물성 추정 및 시뮬레이터 매칭을 위한 파라미터 학습 데이터로 활용
코드 공개 여부: 공개
코드 저장소 보기관련 Figure
이 피규어는 Deform360에서 학습한 표현이 다른 하드웨어와 환경으로 제로샷 전이되어 실제 제어에 이용될 수 있음을 시각적으로 확인시킨다. MPC는 Chamfer 거리 같은 기하학적 비용을 최소화하는 형태로 구성되었고, 3D 입자 표현이 보상 계산에 직접 활용되는 장점을 드러낸다. 또한 비디오 기반 모델이 환경 차이에 민감해 실물 계획에 적용하기 어렵다는 논문의 설명과 상호보완적으로 해석될 수 있다.
학습된 3D 모델을 MPC에 연결하여 실제 로봇(xArm)에서 변형체를 목표 상태로 조작하는 실험 장면을 연속 프레임으로 보여준다.
키워드
용어 해설
- 3D Gaussian Splatting
- — 3D Gaussian Splatting은 장면을 다수의 anisotropic Gaussian으로 표현하고 이들을 레스터화하여 색상과 깊이 맵을 생성하는 재구성 기법이다. 각 Gaussian은 평균 위치와 공분산, 불투명도 및 보기 의존 색상 계수를 지니며 프레임별 최적화를 통해 고해상도 렌더링을 얻는다. 본 논문에서는 프레임별 고해상도 기하 복원을 위해 이 기법을 사용하여 후속 입자 추적의 기하적 기준을 제공했다.
- Particle-based Dynamics
- — 입자 기반 동역학은 변형체를 유한 개수의 입자 집합으로 근사하고 입자 간 상호작용 규칙이나 신경망을 통해 시간에 따른 상태 전이를 모델링하는 방법이다. 이 방식은 명시적 3D 구조를 보유하므로 물리적 제약과 거리 보존 같은 구조적 사전지식을 자연스럽게 포함할 수 있다. 논문에서는 입자 궤적을 생성·학습하여 3D 기반의 장기 안정성과 물리적 일관성을 평가하는 데 활용되었다.
- Tactile Sensing
- — 촉각 센싱은 로봇 그리퍼에 장착된 압력/힘 센서를 통해 접촉 시의 국소적 힘 신호를 시간축으로 기록하는 모달리티이다. 시각적으로 가려진 접촉 부위를 직접 관찰 가능한 물리 신호로 보정할 수 있어 추적과 물리 제약 최적화에 유용하다. 본 데이터셋은 동기화된 촉각 스트림을 이용해 추적 정합성과 접촉 예측을 향상시켰다.
- Chamfer Distance
- — Chamfer Distance는 두 점군 간의 대응성을 측정하는 지표로, 각 점에서 반대 점군으로의 최단거리 제곱의 평균 합으로 정의된다. 입자 기반 복원 및 예측의 기하적 오차를 계량화할 때 사용되며 값이 작을수록 점군 간 정합성이 높음을 의미한다. 논문에서는 궤적 예측의 정밀도를 평가하는 주요 정량 지표로 사용되었다.
- Model Predictive Control
- — Model Predictive Control은 현재 상태에서 학습된 동역학 모델을 사용하여 미래 궤적을 예측하고 최적화된 행동 시퀀스를 반복적으로 계산하여 적용하는 폐쇄형 제어 기법이다. 예측된 궤적 기준 손실(예: Chamfer distance)을 비용으로 최소화하여 로봇의 조작 행동을 생성한다. 본 연구에서는 Deform360으로 학습한 3D 모델을 MPC에 연결해 변형체 조작을 실제 로봇에 제어하는 데 사용되었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.