MolmoSpaces: 로봇 학습을 위한 대규모 개방형 엠바디드 AI 생태계

섹션별 상세

MolmoSpaces는 Unity의 단순화된 물리 모델 대신 MuJoCo 물리 엔진을 도입하여 현실적인 접촉력을 구현했다. 객체의 질량과 밀도는 LLM 주석과 실제 Franka FR3 로봇의 궤적 데이터를 비교하여 정밀하게 조정되었다. 충돌 메시는 CoACD를 통해 생성되었으며 안정적인 시뮬레이션을 위해 기본 콜라이더 주석이 추가되었다.

MolmoSpaces-Bench는 단일 성공률 지표를 넘어 객체 속성, 레이아웃, 작업 복잡도 등 다양한 축에서 로봇 정책의 일반화 성능을 평가한다. 이를 통해 특정 마찰력이나 조명 조건에서의 실패 모드를 체계적으로 분석할 수 있다. 작업 정의에는 집기, 놓기, 열기, 닫기 등 원자적 조작 기술과 내비게이션 목표가 포함된다.

THOR와 Objaverse에서 추출한 13만 개 이상의 객체 자산은 MJCF 및 USD 형식으로 제공되어 NVIDIA Isaac Lab 등 주요 시뮬레이터와 호환된다. 냉장고나 전자레인지 같은 관절 객체는 관절 유형과 범위를 명시적으로 정의하여 물리적 정확도를 높였다. 23만 개의 실내 장면은 수동 제작부터 LLM 지원 절차적 생성까지 다양한 방식으로 구축되었다.

4,200만 개의 6-DoF 파지 데이터는 물리적 섭동 테스트와 작동 가능성 검증을 거쳐 생성되었다. 파지는 6자유도 포즈 공간에서 클러스터링되어 균일하게 선택되었으며 얇은 물체를 위한 손가락 끝 파지 등 선호도가 반영되었다. 연구자들은 제공된 궤적 생성 파이프라인을 통해 대규모 모방 학습용 데이터셋을 즉시 구축할 수 있다.

용어 해설

엠바디드 AI(Embodied AI): — 가상 또는 물리적 신체를 가진 AI가 환경과 상호작용하며 학습하는 분야로, 단순 텍스트 처리를 넘어 물리적 행동 제어를 핵심으로 한다.
6자유도 파지(6-DoF Grasp): — 3차원 위치(x, y, z)와 회전(roll, pitch, yaw)을 모두 포함하는 파지 자세로, 로봇이 물체를 정밀하게 잡기 위해 필수적인 정보이다.
심투리얼(Sim-to-Real): — 가상 시뮬레이션 환경에서 학습시킨 AI 모델을 실제 물리 로봇에 적용할 때 발생하는 성능 차이를 극복하고 전이시키는 기술적 과정이다.
관절 객체(Articulated Object): — 문, 서랍, 가전제품처럼 가동 부위가 있어 물리적 상태가 변할 수 있는 객체로, 로봇 조작 연구의 주요 대상이다.
유니버설 씬 디스크립션(USD): — 3D 데이터의 상호 운용성을 위한 포맷으로, MolmoSpaces의 자산을 MuJoCo나 Isaac Lab 등 서로 다른 엔진에서 동일하게 사용하게 해준다.