GigaWorld-1과 WMBench를 통한 로봇 정책 평가용 월드 모델 설계와 검증

로봇 정책 검증은 실제 롤아웃의 느리고 비용 높은 특성 때문에 연구와 개발의 병목이 되었다. 이 논문은 학습된 비디오 월드 모델을 정책 평가의 대체 검증기로 삼을 때 어떤 설계 요소가 실제 정책 순위와 성공률을 신뢰성 있게 보존하는지를 규명했다. 결과적으로 장기 행동 충실성과 로봇 도메인 적응성에 기반한 설계 원칙을 통해 실제 평가 부담을 크게 줄일 수 있는 근거를 제공했다.

문제 출발점은 로봇 정책 평가가 언어 모델 평가와 달리 물리적 롤아웃에 의존하며 평가 비용과 일관성이 크게 제한된다는 점이다. 기존 비디오 생성 모델은 시각적 품질을 빠르게 향상시켰지만 시퀀스 반복 생성 시 행동-상태 보존성과 장기적인 물리 일관성은 보장하지 못했다. 이 한계는 정책 간 상대적 성공률을 보존해야 하는 평가자 역할에서는 특히 치명적이다. 이 논문의 해결 원리는 평가자 목표를 명시적으로 정의하고 이에 맞춘 데이터·모델·평가 설계를 통합하는 것이다. 구체적으로 예측 대상은 단순 프레임 품질이 아니라 정책 행동이 반복적으로 투입될 때도 정책별 성공 순위를 보존하는 능력이다. 이를 위해 paired real-rollout 데이터로 만든 WMBench와 WMES 인간 주석을 기준으로 자동 지표와 아키텍처 선택을 체계적으로 비교했다. 달라지는 점은 평가 기준과 모델 학습 목표의 전환이다. 기존에는 단일 샷 비디오 생성 품질이 우선시되었으나 본 연구는 장기 자기회귀 롤아웃에서 행동 충실성, 시공간적 지오메트리 보존, 메모리의 지속성이 평가 성능을 좌우한다는 사실을 실험적으로 확인했다. 따라서 데이터 균형과 제어 주입, 메모리 구조를 설계 목표로 삼으면 실제 정책 평가와 높은 정렬도를 달성할 수 있다는 결론이 도출되었다.

벤치마크 설계는 실제 텔레오퍼레이션 궤적과 정책 롤아웃을 에피소드 단위로 엄격히 분리한 데이터 파이프라인을 중심으로 구성되었다. 각 테스트 에피소드는 훈련에 절대 포함되지 않도록 보장되며, 멀티뷰 동기화와 행동-관찰 정렬이 데이터 정합성의 핵심 요건으로 구현되었다. 또한 4단계 폐쇄 루프 평가 프로토콜을 통해 정책이 월드 모델과 상호작용하는 실제 배포 시나리오를 재현했다. 모델 측면에서는 기존 비디오 확산 백본을 자율 생성형(autoregressive) 세계 생성기로 변환했다. 이를 위해 상대적 RoPE, 메모리 패치화, 계층적 히스토리 가이던스, 그리고 행동·깊이·세만틱·캡션을 시간적으로 정렬된 조건으로 주입하는 통합 제어 표현을 도입했다. 생성 과정은 각 미래 윈도우를 노이즈화한 뒤 역사 상태와 정렬된 제어 잠재값을 조건으로 복원하는 확산 기반 복원 손실로 학습되었다. 평가 메커니즘은 인간 주석 기반 WMES와 자동 진단 지표 군을 병렬로 사용하여 평가 정렬을 측정했다. 자동 지표는 JEPA Similarity, Subject Consistency, Trajectory Accuracy, Perspectivity 등 지오메트리·대상 보존성과 관련된 항목을 중점으로 선정하였다. 또한 대량 주석을 가능하게 하기 위해 LoRA로 튜닝된 Qwen3-VL 기반 VLM 평가자를 도입하여 인간 점수와 높은 일치도를 확보하였다.

메트릭 상관성 분석에서 시각적·지오메트리 품질 그룹이 WMES와 가장 높은 상관을 보였고, 개별 지표로는 Subject Consistency(ρ=0.88)와 Perspectivity(ρ=0.86)가 강한 예측력을 가졌다. 반면에 Background Consistency와 Photometric Consistency는 정적 영상으로 속이는 모델을 과대평가하여 WMES와 음의 상관을 보였다. 이 결과는 정책 평가자로서는 단순한 외관적 안정성이 오히려 오도하는 지표가 될 수 있음을 밝혔다. 데이터 구성 실험에서는 GigaData 단독보다 GigaData에 PhysData를 추가한 혼합이 전체 평균 점수를 0.5654에서 0.6144로 개선하여 가장 균형 잡힌 성능을 보였다. AgiBot과 같은 로봇 특화 데이터는 주로 주제 일관성과 광학적 충실도를 높였으나 JEPA 유사성과 Trajectory Accuracy를 일부 저하시켜 과적합 위험을 드러냈다. 이 결과는 평가자용 학습이 일반 물리적 영상과 로봇 시연의 적절한 균형을 요구함을 시사한다. 아키텍처 실험에서 채널 결합된 픽셀 정렬 제어는 Trajectory Accuracy를 0.3528까지 끌어올렸고, 계층적 메모리의 추가는 장기 PSNR과 FID/FVD 지표 전 구간에서 현저한 향상을 보였다. 최종적으로 논문이 제안한 디자인을 반영한 GigaWorld-1은 핵심 평가 정렬 지표에서 경쟁 기준 대비 14.9% 향상을 달성했다. 또한 VLM 기반 자동 평가자는 인간 라벨과의 정확도 87.80% 및 인접 정확도 99.16%를 기록하여 대규모 비교 실험의 확장 가능성을 입증했다.

전체 아키텍처는 사전학습된 비디오 확산 백본을 재사용하되 VAE와 텍스트 인코더를 동결하고 LoRA 어댑터와 제어 모듈을 통해 로봇 도메인에 적응시키는 방식으로 설계되었다. 생성기는 autoregressive 확산-트랜스포머로 동작하며, 각 세그먼트는 역사 메모리와 정렬된 제어 잠재값을 입력으로 받아 미래 윈도우를 복원한다. 확산 노이즈 예측 목표와 계층적 히스토리 가이던스가 결합되어 장기 롤아웃의 안정성을 확보했다. 제어 입력은 헤드뷰용 EE pose map과 손목뷰용 ray map을 뷰별로 렌더링하여 폭 방향으로 결합한 후 인코더로 잠재 제어 표현으로 변환했다. 이 통합 제어 잠재값은 생성 과정 전반에 픽셀 정렬된 방식으로 주입되어 행동-공간 정렬을 유지했다. 채널 결합 방식은 cross-attention이나 ControlNet 스타일보다 Trajectory Accuracy와 동역학 지표에서 우수한 성능을 보였다. 장기 일관성 유지를 위해 첫 프레임 앵커와 단·중·장기 계층 메모리를 보유했고 Relative RoPE를 적용하여 매 생성 스텝에서 로컬 시간좌표계를 재초기화하였다. 텍스트 조건의 연속성 문제는 SLERP를 이용한 임베딩 보간으로 해결하여 프롬프트 전환 시 급격한 변화 없이 점진적인 의미 전이를 유도했다. 학습 파이프라인은 기초 로봇 파운데이션 적응, autoregressive 학습, 장면 적응(선택적), 그리고 DMD2 기반 수단-스텝 증류 단계를 포함하는 점진적 커리큘럼으로 구성되었다.

논문은 VLM 기반 자동 평가자의 높은 근사치를 보고했지만 VLM이 물리적 현실성의 세부 판단에서 여전히 취약하다는 한계를 명시했다. 또한 로봇 특화 데이터만 과도하게 사용하면 JEPA 유사성이나 궤적 정확도 측면에서 과적합이 발생하여 평가자 일반화에 부정적 영향을 미칠 수 있다는 점을 보고했다. 마지막으로 월드 모델 평가의 신뢰성은 데이터 균형·메모리 설계·공간 정렬 제어의 조화에 민감하므로 특정 평가 도메인으로의 전이에는 추가 검증이 필요하다고 언급했다.