RoboEvolve: 제한된 데이터로 로봇 조작을 위한 플래너-시뮬레이터의 공진화

로봇 조작의 데이터 수집은 비용과 시간 측면에서 큰 제약이다. 본 연구는 VLM 플래너와 VGM 시뮬레이터를 상호 진화시키는 공진화 루프를 제시하고, unlabeled seed 이미지로 시작해 Daytime과 Nighttime의 이중 학습으로 물리적 타당성과 시맨틱 목표를 함께 달성한다. 이 접근은 데이터 효율성을 극적으로 끌어올리고, 지속적 학습에서의 악순환을 완화하며, 복잡 작업으로의 확장성을 확보한다.

문제 정의: 데이터가 제한된 환경에서 로봇 조작을 학습하려면 high-level 계획과 low-level 물리 실행 사이의 간극을 줄여야 한다. 기존의 VLM 기반 플래너는 물리적 타당성에 약하고, VGMs는 물리적으로 불가능한 경향이 있다. RoboEvolve은 VLM Planner(P)와 VGM Simulator(S)를 상호 보완적으로 진화시키는 루프를 도입하여, 실패 사례도 학습 신호로 활용한다. CLS 이론에 기초해 Daytime은 탐색을, Nighttime은 기억 강화/수정의 역할을 담당한다. 이 이중 루프는 Atom-Level의 간단한 작업에서 시작해 다단계/복합 작업으로 확장되며, 시맨틱 제어 보상과 다계층 물리 검증으로 학습의 안정성과 일반화 가능성을 높인다. 일반적 아이디어: 1) Daytime은 P가 생성한 태스크 프롬프트를 S가 물리적으로 실행 가능한 비주얼 시퀀스로 변환하도록 유도한다. 2) 시맨틱-alignment 지표를 통해 G'를 생성하고, 이를 P의 피드백으로 재조정한다. 3) Nighttime은 V+와 V-를 비교하는 Direct Preference Optimization(DPO) 기반 학습으로 S를 물리적 타당성의 매니폴드에 맞춘다. 4) D_P, D_U, D_T의 계층적 선호 최적화를 통해 P의 계획 수준, 이해 수준, 전이 수준이 상호 보강되도록 한다. 5) 커리큘럼은 비지도 데이터에서 시작해 점진적으로 더 높은 난이도에 도달하도록 자동으로 조정된다.

전반적 접근: P는 VLM으로, S는 VGM으로 구성된 코-에볼루션 루프를 통해 학습한다. Seed 이미지로부터 S를 위한 Task 저장소를 구축하고, 13개 기본 태스크 템플릿(T)과 A(Atomic Action) 공간으로 분해한다. D(τ|I) = Σ_{ai∈π} c(ai)로 태스크 난이도를 정의하고, 이를 커리큘럼의 기반으로 삼는다. Daytime 학습은 S의 물리적 재현성 향상과 P의 추론 확장을 병행한다. K개의 비디오를 샘플링해 GRPO로 Advantage를 계산하고, P의 보상을 이용해 S를 업데이트한다. 세부 수식은 [R(V) = Isem·(sF + wsS + sE)], [π는 다수 voting으로 선택], [R̂(π,τ) = 1[π=π]·(1+η·R(S(π*)))] 등으로 구성된다. Nighttime 학습은 V+와 V−를 구성하는 이진 보상 쌍으로 DPO를 최적화한다(LNighttime(S)) 및 LNighttime(P)로 P를 업데이트한다. 세부적으로는 D_P(Planning-level), D_U(Understanding-level), D_T(Transition-level)로 나눠 학습 신호를 구성하고, 각 수준의 교차 효과를 통해 논리적 일관성, 시각적 기초학습, 상태-전이 causality를 강화한다. 커리큘럼의 파라미터 λ는 Daytime-1→Nighttime-1→Daytime-2→Nighttime-2→Daytime-3→Nighttime-3→Level-1→Level-2→Level-3의 점진적 확장을 유도하도록 설정되었다.

주요 결과: RoboEvolve은 정적 파생 방식 대비 우수한 성능 향상을 보여준다. Simulator S의 상대적 성공률은 BridgeData V2에서 48% 증가하고, Base Planner P의 점수는 EB-ALFRED 및 EB-Habitat에서 평균적으로 약 30포인트의 절대 향상을 보인다. 데이터 효율성 측면에서 500개의 unlabeled seeds만으로도 fully supervised 대비 50×의 데이터 감소로 더 나은 성능을 달성한다. 또한 Daytime과 Nighttime이 서로 보완하는 학습 흐름을 통해 지속 학습에서도 악영향 없이 안정적인 향상을 보인다. Ablation 연구에 따르면 시맨틱-일치성 인자(Issem)가 가장 중요한 요소이며, sF, sS, sE 중 어느 하나를 제거하면 성능이 하락한다. 커리큘럼 하이퍼파라미터 λ를 0.10으로 설정할 때 가장 균형 있게 다단계 태스크로 확장되며, 낮은 난이도에서 시작해 높은 난이도까지의 학습이 순차적으로 진행된다. 데이터 확장 실험은 300–1000 seeds 범위에서 일관된 성능 증가를 보여주며, 300 seeds에서도 이미 고밀도 학습 데이터를 생성해 기존 데이터 대비 효율적으로 학습한다.

아키텍처: planner(P)와 simulator(S)이 상호 의존적으로 작동하는 폐회로를 구성한다. Seed 이미지는 13개의 기본 태스크 템플릿 T와 atomic action A를 통해 구조화되며, D(τ|I) = Σ c(ai)로 난이도 D를 계산한다. Daytime 학습은 S의 물리적 타당도 개선과 P의 추론 확장을 동시에 진행하는 GRPO를 사용하고, 보상은 4단계 시맨틱 제어 보상(R)으로 구성된다. R은 Issem(시맨틱 alignment), sF(프레임 일관성), sS(세그먼트 실행), sE(에피소드 성공)을 포함하는 이진 신호로 구성되며, G'를 생성하기 위한 P의 비판적 피드백을 포함한다. Nighttime 학습은 V+와 V− 간의 대조를 통해 S를 DPO로 업데이트하고, P의 학습은 D_P, D_U, D_T의 세 가지 차원으로 구성된 계층적 선호 최적화를 통해 수행된다. 커리큘럼은 상향식으로 난이도를 증가시키며, λ 파라미터에 의해 Day- Night 사이의 진입 속도가 조절된다. BridgeData V2를 바탕으로, Level-1에서 Level-3까지의 태스크를 구성하고, Level-2/3은 다중-태스크 구성으로 평가된다. 실험은 NVIDIA A800 GPU에서 수행되며, Daytime GRPO의 rollout 크기는 K=16, reward shaping η=0.2로 설정된다. 데이터 인력 비용 절감을 위해 SFT cold-start는 BridgeData V2의 학습 분할에서 시작되며, S와 P의 학습은 3개의 Dual-Phase 커리큘럼 사이클로 이루어진다.

논문은 현재 제안된 파이프라인을 실제 물리 로봇에 배치하지 않았다. Zero-shot 평가에 의존하는 경향이 있으며, 외부 보상 모델이나 Grounding DINO 같은 보강 모델의 도입 가능성은 남겨 두었다. 시각-생성 도메인 중심의 한계로, 실제 감각-피드백 루프의 전환에 대한 연구가 필요하다. 향후 WAM(world-action models)과의 통합으로 고도화된 현실 배치를 모색할 예정이다.