MolmoSpaces: 로봇 학습을 위한 대규모 개방형 엠바디드 AI 생태계

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

로봇이 실제 물리 세계에서 작동하기 위해서는 다양한 환경에서의 일반화 능력이 필수적이지만, 기존 시뮬레이션은 정밀도가 낮거나 데이터가 부족했다. Allen Institute for AI(AI2)는 이를 해결하기 위해 23만 개 이상의 실내 장면과 13만 개의 객체 모델을 통합한 개방형 플랫폼 MolmoSpaces를 출시했다. 이 플랫폼은 MuJoCo 기반의 고정밀 물리 엔진을 사용하며, 4,200만 개의 정밀한 로봇 파지(Grasp) 데이터를 제공하여 시뮬레이션과 실제 환경 간의 간극을 줄인다. 연구자들은 MolmoSpaces-Bench를 통해 객체의 무게, 마찰력, 조명 등 다양한 변수별로 로봇 정책의 일반화 성능을 체계적으로 평가할 수 있다.

배경

로봇 공학 기초, 물리 엔진(MuJoCo) 이해, Python, 딥러닝 및 강화학습 지식

대상 독자

로봇 학습 및 엠바디드 AI 연구자 및 개발자

의미 / 영향

MolmoSpaces는 파편화된 로봇 시뮬레이션 환경을 통합하고 대규모 고품질 데이터를 제공함으로써 로봇의 일반화 성능 연구를 가속화할 것이다. 특히 개방형 생태계를 지향하여 연구자들이 공유된 기반 위에서 성과를 비교하고 발전시킬 수 있는 토대를 마련했다.

섹션별 상세

MolmoSpaces는 Unity의 단순화된 물리 모델 대신 MuJoCo 물리 엔진을 도입하여 현실적인 접촉력을 구현했다. 객체의 질량과 밀도는 LLM 주석과 실제 Franka FR3 로봇의 궤적 데이터를 비교하여 정밀하게 조정되었다. 충돌 메시는 CoACD를 통해 생성되었으며 안정적인 시뮬레이션을 위해 기본 콜라이더 주석이 추가되었다.

MolmoSpaces-Bench는 단일 성공률 지표를 넘어 객체 속성, 레이아웃, 작업 복잡도 등 다양한 축에서 로봇 정책의 일반화 성능을 평가한다. 이를 통해 특정 마찰력이나 조명 조건에서의 실패 모드를 체계적으로 분석할 수 있다. 작업 정의에는 집기, 놓기, 열기, 닫기 등 원자적 조작 기술과 내비게이션 목표가 포함된다.

THOR와 Objaverse에서 추출한 13만 개 이상의 객체 자산은 MJCF 및 USD 형식으로 제공되어 NVIDIA Isaac Lab 등 주요 시뮬레이터와 호환된다. 냉장고나 전자레인지 같은 관절 객체는 관절 유형과 범위를 명시적으로 정의하여 물리적 정확도를 높였다. 23만 개의 실내 장면은 수동 제작부터 LLM 지원 절차적 생성까지 다양한 방식으로 구축되었다.

4,200만 개의 6-DoF 파지 데이터는 물리적 섭동 테스트와 작동 가능성 검증을 거쳐 생성되었다. 파지는 6자유도 포즈 공간에서 클러스터링되어 균일하게 선택되었으며 얇은 물체를 위한 손가락 끝 파지 등 선호도가 반영되었다. 연구자들은 제공된 궤적 생성 파이프라인을 통해 대규모 모방 학습용 데이터셋을 즉시 구축할 수 있다.

실무 Takeaway

로봇의 일반화 능력을 확보하기 위해 MolmoSpaces-Bench의 체계적 변수 제어 기능을 활용하여 정책의 취약점을 파악하고 개선해야 한다.
고정밀 6-DoF 파지 데이터를 모방 학습에 통합하여 복잡한 관절 객체 조작 작업의 성공률을 높여야 한다.
USD 변환 스크립트를 사용하여 MolmoSpaces의 방대한 자산을 NVIDIA Isaac Lab 등 기존 연구 환경에 통합함으로써 데이터 다양성을 확보해야 한다.

언급된 리소스

문서MolmoSpaces Tech Report

문서MolmoSpaces Data

GitHubMolmoSpaces Code