SIM1: 변형 가능한 세계에서 제로샷 데이터 스케일러 역할을 하는 물리 정렬 시뮬레이터

옷이나 수건처럼 형태가 변하는 물체를 다루는 로봇 학습은 데이터 수집 비용이 매우 높고 기존 시뮬레이션은 실제 물리 법칙과 괴리가 컸다. 이 논문은 실제 세계의 물리적 특성을 시뮬레이션에 정밀하게 이식하는 R2S2R 패러다임을 통해, 추가 학습 없이도 실제 로봇에 즉시 적용 가능한 고품질 합성 데이터를 대량으로 생성하는 길을 열었다.

기존의 로봇 학습용 시뮬레이터는 주로 딱딱한 강체(Rigid Body)를 다루는 데 최적화되어 있어, 부드러운 천의 복잡한 변형과 마찰을 표현할 때 물리적으로 불가능한 늘어남이나 떨림 현상이 발생했다. 이는 시뮬레이션에서 학습한 로봇이 실제 세계에서 실패하는 'Sim-to-Real Gap'의 근본 원인이 된다. SIM1은 이를 해결하기 위해 시뮬레이션 내부의 물리 법칙 자체를 실제 관측값에 고정(Grounding)시키는 전략을 취한다.

먼저 3D 스캔을 통해 실제 옷의 기하학적 구조를 정밀하게 복제한 뒤, AVBD라는 수치 최적화 기법을 도입하여 천의 입자 간 거리가 일정 수준 이상 늘어나지 않도록 강제하는 가상의 탄성 제약 조건을 추가한다. 이는 딥러닝의 Regularization과 유사하게 물리적 수렴 속도를 높이고 안정적인 상태를 유지하게 돕는다. 여기에 전문가의 시연 비디오와 시뮬레이션 영상을 시각적으로 대조하며 마찰력과 감쇠 계수를 미세 조정하여 실제와 똑같이 움직이는 '디지털 트윈' 환경을 완성한다.

결과적으로 이렇게 정교하게 설계된 환경은 로봇에게 실제 세계와 동일한 물리적 피드백을 제공한다. 시뮬레이션에서 수만 번 반복 학습한 로봇은 실제 환경으로 옮겨졌을 때 자신이 처한 상황을 낯설어하지 않고, 마치 시뮬레이션 안에서 움직이듯 자연스럽게 옷을 집어 들고 접는 동작을 수행할 수 있게 된다.

SIM1 프레임워크는 크게 세 단계의 정렬 과정을 거친다. 첫 번째는 기하학적 정렬(Geometric Alignment)로, EinScan Rigil Pro 3D 스캐너를 사용하여 실제 의류를 서브 밀리미터 단위의 정밀도로 디지털화하고 텍스처를 입힌 메시(Mesh) 자산을 생성한다. 로봇과 주변 환경은 CAD 모델 기반의 URDF 임포트를 통해 실제 치수와 일치시킨다.

두 번째는 동역학적 정렬(Dynamical Alignment)이다. Newton-VBD 솔버를 확장한 변형 안정화 솔버를 사용한다. 각 메시 에지(Edge) e에 대해 현재 길이 ||e_i - e_j||가 정지 길이 l_0의 (1+ξ)배를 초과하면 가상의 인장력을 주입하는 제약 조건 C(e) = ||e_i - e_j|| - (1+ξ)l_0 ≤ 0을 적용한다. [에지 길이 입력 → 임계값 초과 여부 판단 → 초과 시 가상 스프링 힘 계산 → 정점 위치 수정] 과정을 통해 물리적 일관성을 확보한다. 또한 전문가가 실제 로봇을 조작하는 동안 시뮬레이터가 동일한 관절 상태를 복제하도록 하여 시각적 피드백 기반의 파라미터 캘리브레이션을 수행한다.

세 번째는 운동 정렬(Movement Alignment)이다. 수집된 소수의 시연 데이터를 상호작용(Grasp/Release)과 이동(Motion) 구간으로 분리한다. 이동 구간은 조건부 확산 모델(Conditional Diffusion Forcing)을 사용하여 생성한다. [경계 포즈와 로봇 히스토리 입력 → 노이즈 제거 과정을 통한 중간 궤적 예측 → 연속적인 동작 생성] 단계를 거쳐 물리적으로 타당한 대량의 합성 궤적을 생산하고, 비디오 판별기(Discriminator)를 통해 품질이 낮은 샘플을 필터링한다.

실험 결과, SIM1의 합성 데이터로만 학습된 정책은 실제 데이터로 학습된 모델과 대등한 성능을 보였다. T-셔츠 접기 작업의 인도메인(In-domain) 평가에서 실제 데이터 모델은 97%, SIM1 모델은 87%의 성공률을 기록하여 간극을 10% 이내로 좁혔다. 특히 데이터 효율성 측면에서 실제 데이터 1개는 SIM1 합성 데이터 약 15개와 동일한 가치를 지니는 것으로 분석되었다.

일반화 성능에서는 SIM1이 실제 데이터를 압도했다. 공간적 변화, 텍스처 변화, 조명 변화 환경에서 SIM1 모델은 실제 데이터 기반 모델보다 각각 50%, 13%, 47% 더 높은 성공률을 보였다. 이는 시뮬레이션 내에서 수행된 다양한 텍스처 및 조명 랜덤화(Domain Randomization)가 로봇의 강건성을 크게 향상시켰음을 의미한다.

추가적인 제로샷 전이 실험에서, 학습 과정에서 본 적 없는 폴로 셔츠에 대해 실제 데이터 모델은 20%의 성공률에 그친 반면, SIM1 모델은 70%의 성공률을 달성했다. 또한 수건 뒤집기(80%), 반바지 접기(93%) 등 다른 의류 카테고리에서도 높은 성공률을 기록하며 프레임워크의 범용성을 입증했다.

SIM1의 핵심 기술적 차별점은 Augmented Vertex Block Descent(AVBD)를 로봇 조작 시뮬레이션에 최적화하여 통합한 점이다. 기존 솔버들이 입자 간의 에너지 최소화에만 집중하여 실시간 상호작용 시 비정상적인 늘어남(Stretching)을 방지하지 못한 것과 달리, SIM1은 명시적인 변형 제약 조건을 Newton 시스템 내에 통합하여 해결했다. 이는 수치적으로 안정적인 rigid-soft 커플링을 가능하게 하여 로봇 그리퍼가 천을 집어 올릴 때 발생하는 복잡한 접촉 역학을 정확히 모사한다.

데이터 생성 알고리즘은 '구조적 분해 후 확산 합성' 방식을 채택했다. 이는 단순히 전체 궤적을 생성하는 것보다 물리적 타당성을 확보하기 쉽다. 상호작용 지점은 전문가의 데이터를 재사용하여 유효성을 보장하고, 그 사이의 경로는 Diffusion Forcing을 통해 채움으로써 데이터의 다양성을 확보한다. 또한 Blender를 활용한 광선 추적(Ray Tracing) 렌더링과 시각적 랜덤화를 결합하여 외형적 Sim-to-Real Gap까지 동시에 해결하는 통합 엔지니어링 접근법을 보여준다.

현재 SIM1의 한계점은 각 새로운 자산(Asset)에 대해 전문가가 수동으로 물리 파라미터를 튜닝해야 한다는 점이다. 이는 다양한 종류의 의류에 대해 완전 자동화된 데이터 생성을 수행하는 데 제약 요소가 된다.