SimFoundry: 단일 비디오로 자동 생성하는 모듈형 실세계 기반 시뮬레이션 장면 생성 시스템

로봇 정책을 실제에서 평가하거나 학습하려면 많은 물리적 시행착오와 비용이 수반된다. SimFoundry는 단일 비디오 입력으로 상호작용 가능한 sim-ready 디지털 트윈을 자동으로 생성하고 장면·객체·과제 수준의 변형군을 대량으로 생산해 시뮬레이션 기반의 대규모 데이터 생성과 평가를 가능하게 했다. 이로 인해 시뮬레이션에서의 평가가 실제 성능을 높은 상관도로 예측하고 시뮬에서 학습한 정책이 제로샷으로 실세계에 전이되는 실증 결과가 제시되었다.

문제의 출발점은 실제 장면을 시뮬레이션에서 상호작용 가능하게 재현하는 과정에서 시각·기하·물리 정보가 결여되면 로봇 정책의 시뮬-실 간 갭이 발생한다는 점이다. 기존 자동화된 3D 재구성은 주로 시각적 렌더링 목적에 치중했으며 접촉·충돌·관절 상호작용을 지원하는 sim-ready 자산을 자동으로 만들지 못하는 경우가 많았다. 이 논문은 단일 RGB 비디오에서 객체별 RGB-D 크롭과 마스크를 추출하고 이를 바탕으로 2D→3D 메시를 생성하며 포즈와 물리 파라미터를 정렬해 실제 상호작용을 시뮬레이션 가능한 형태로 복구하는 것을 출발점으로 삼는다. SimFoundry의 핵심 해결 원리는 모듈화된 추출·생성·증강 단계의 조합이다. 추출 단계는 대표 프레임과 깊이 추정으로 포인트클라우드를 구성하고 VLM 기반 객체 인식을 통해 반복적 전경 제거와 마스크를 얻는다. 생성 단계는 이미지 업샘플링과 2D→3D 메시 모델로 시각 메시를 만든 뒤 포즈 정제와 CoACD를 통한 충돌 지오메트리를 생성하고 물리 속성(질량·마찰)을 할당해 PyBullet에서 안정화한다. 이 접근은 단일 트윈으로부터 데이터 다양성을 자동으로 확장할 수 있게 한다. 객체 커즌스는 원본 객체의 조작 어포던스를 유지하면서 형상과 외관을 변형해 인스턴스 다양성을 제공하고 장면 커즌스는 의미적 공간 술어로 합리적 배치를 생성해 레이아웃 일반화를 강화한다. 그 결과 시뮬레이션 기반 평가는 실제 성능을 높은 상관도로 예측했고 생성된 시뮬레이션 데이터로 학습한 정책은 제로샷 또는 소량의 실제 데이터와의 공동학습으로 실세계 전이가 가능하다는 실증적 결론이 도출되었다.

전체 접근 방식은 세 단계로 구성된다. 첫째 추출 단계에서 입력 RGB 비디오로부터 대표 프레임을 선택하고 off-the-shelf 깊이 추정기로 깊이 맵을 얻어 카메라 내재행렬과 결합해 장면 포인트클라우드를 생성한다. 둘째로 VLM 및 이미지 분할기를 이용해 전경 객체를 반복적으로 분해하고 각 객체의 RGB-D 크롭과 마스크를 산출한다. 생성 단계는 각 객체 크롭에 대해 이미지 업샘플링을 수행하고 2D→3D 메시 생성 모델로 시각 메시를 만든 뒤 메시를 장면 포인트클라우드에 정렬해 6-DoF 포즈를 추정한다. 추가로 관절 객체는 관절 검출 모듈로 분할하고 관절 파라미터를 할당하며 CoACD로 충돌 지오메트리를 생성한다. 마지막으로 PyBullet에서 충돌 제거와 안정화 과정을 거쳐 시뮬레이터 호환 포맷으로 내보낸다. 증강 단계는 디지털 커즌스군을 자동 생성해 데이터 다양성을 확장한다. 객체 커즌스는 메시 변형과 텍스처 변이를 통해 인스턴스 다양성을 만들고 장면 커즌스는 OnTop 같은 의미적 술어를 활용해 배치를 재구성하며 과제 커즌스는 가능한 목표 조건을 생성해 시뮬레이션 내에서 자동 데모 수집을 가능하게 한다. 이 모든 구성요소는 모듈화되어 각 단계의 기반 모델을 교체하거나 추가적인 인간 조정을 통해 품질을 개선할 수 있게 설계되었다.

SimFoundry의 시뮬레이션 기반 정책 평가는 다양한 정책군과 7개 조작 과제에서 평균 Pearson 상관 0.911 및 MMRV 0.018로 높은 예측력을 보였다. 이 수치는 PolaRiS와의 비교에서 Pearson 상관 기준으로 0.59 이상 우수한 성능 차이를 나타냈으며 시뮬레이션에서의 정책 순위 보존 능력이 실험적으로 입증되었다. 서브태스크 수준의 평가 절차를 도입하면 평균 Pearson 상관이 0.90에서 0.95로 개선되어 장기적 다단계 과제의 병목 요소를 더 정밀하게 진단할 수 있다. 시뮬레이션 데이터로 학습한 정책은 여러 과제에서 제로샷 실세계 전이에 성공했다. 예시로 YAM 플랫폼에서 Pot on Stove 과제는 시뮬에서 학습한 정책으로 99% 성공률을 기록했고 DROID 플랫폼의 Stack Dishware 과제는 100% 성공률을 기록했다. 객체 커즌스는 보류된 물체에 대한 강인성을 크게 향상시켰고 장면 커즌스는 레이아웃 일반화 성능을 개선했으며 과제 커즌스는 유사 과제로의 인수 학습을 촉진해 few-shot 성능 향상에 기여했다. 재구성 성능 측면에서 SimFoundry는 자동 모드에서 12개 장면에 대해 F1 0.81–0.92를 달성했고, 1개 객체당 평균 약 5분 소요의 자동화 처리와 추가 3분의 수동 튜닝으로 F1을 0.93–0.99까지 끌어올릴 수 있음을 보고했다. 이 결과는 자동 파이프라인이 적은 인간 개입으로도 실용적 품질을 확보할 수 있음을 시사한다.

전체 아키텍처는 세 모듈 추출 생성 증강으로 구성된 파이프라인으로 모듈 단위로 기반 모델을 교체할 수 있게 설계되었다. 추출 모듈은 RGB 대표 프레임과 깊이 추정기로 포인트클라우드를 구성하고 VLM 기반 객체 검출과 반복적 전경 제거로 객체별 RGB-D 크롭과 마스크를 얻는다. 생성 모듈은 이미지 업샘플링, 2D→3D 메시 생성 모델, FoundationPose 유사 모델을 통한 포즈 정제, CoACD를 이용한 충돌 지오메트리 생성, 그리고 장면 이해 VLM으로부터 물리 파라미터 추정을 연쇄적으로 수행한다. 관절 객체 처리와 정합성 검증은 별도의 서브모듈로 분리되어 있다. 관절 검출 모듈은 이동 가능한 파트를 식별하고 메쉬 분할과 관절 파라미터 생성을 통해 장치화된 관절 모델을 만든다. 장면 합성 후 PyBullet에서 침투 제거와 안정화 시뮬레이션을 수행해 객체 간 충돌이 없는 안정적 초기 상태를 얻고 이를 IsaacLab 등 downstream 시뮬레이터로 내보낸다. 증강 모듈은 의미적 술어와 물리적 제약을 결합해 디지털 커즌스를 생성한다. 객체 커즌스는 메시 변형과 텍스처 변경을 통해 인스턴스 다양화를 수행하고 장면 커즌스는 OnTop, RightOf 같은 술어 기반 변형으로 배치를 재구성한다. 과제 커즌스는 장면의 가용 어포던스를 분석해 시뮬레이션에서 실행 가능한 목표 스펙을 생성하고 자동 데모 수집에 사용된다. 전체 파이프라인은 자동 모드와 수동 튜닝 모드를 모두 지원하며 품질과 작업 시간의 균형을 조정할 수 있다.

SimFoundry는 다양한 off-the-shelf foundation models에 의존하기 때문에 각 구성요소의 실패 모드를 그대로 계승한다. 현재 파이프라인은 테이블탑 스타일의 평면 기반 장면을 전제로 설계되어 다층 구조나 비평면 환경으로의 직접 확장은 제한적이다. 추가로 관절 복잡성이나 심한 부분 가림 현상에서는 자동 재구성 품질이 떨어질 수 있음을 논문에서 명시하고 있다.