GigaWorld-1과 WMBench를 통한 로봇 정책 평가용 월드 모델 설계와 검증

왜 중요한가

로봇 정책 검증은 실제 롤아웃의 느리고 비용 높은 특성 때문에 연구와 개발의 병목이 되었다. 이 논문은 학습된 비디오 월드 모델을 정책 평가의 대체 검증기로 삼을 때 어떤 설계 요소가 실제 정책 순위와 성공률을 신뢰성 있게 보존하는지를 규명했다. 결과적으로 장기 행동 충실성과 로봇 도메인 적응성에 기반한 설계 원칙을 통해 실제 평가 부담을 크게 줄일 수 있는 근거를 제공했다.

핵심 기여

WMBench 벤치마크와 대규모 쌍대 롤아웃 코퍼스 구축

WMBench는 텔레오퍼레이션 전문가 데이터와 정책 롤아웃을 일대일로 매칭한 2,989개의 궤적과 엄격한 학습/테스트 분리를 포함한다. 추가로 CVPR 2026 챌린지 제출물과 합쳐 324,000개 이상의 월드 모델 롤아웃 세그먼트를 주석화하여 평가 정렬 실험을 가능하게 했다. 이 데이터셋은 장기 폐쇄 루프 롤아웃과 성능 순위 보존성 연구를 목적으로 설계되었다.

평가자 지향 메트릭 분류와 자동 지표 상관성 분석

시각적 품질, 지오메트리, 의미, 동역학, 상호작용 등 진단 메트릭을 그룹화하여 WMES와의 피어슨 상관관계를 계산했다. 분석 결과 주로 Subject Consistency, Perspectivity, Instruction Following 같은 지오메트리·대상 보존 지표가 평가 정렬을 잘 예측하는 것으로 나타났다. 반면에 배경·광도 안정성 지표는 정적 영상으로 쉽게 속임수를 당해 평가자 신뢰도를 떨어뜨리는 것으로 확인되었다.

데이터 조성 및 후학습의 트레이드오프 규명

로봇 전용 데이터(GigaData)와 광범위 물리 비디오(PhysData), 로봇 전용 AgiBot 데이터의 조합에 대한 후학습 실험을 수행했다. PhysData를 추가하면 전반적 정합성 평균이 개선되었고 현실적 물리적 선행지식이 복원되어 평가자 성능이 향상되었다는 점이 확인되었다. 반면 로봇 특화 데이터는 포즈·뷰 충실도를 개선하지만 JEPA 유사성이나 궤적 정확도에서 과적합을 유발할 위험이 있다는 교훈을 도출했다.

액션 주입 인터페이스와 계층적 기억의 구조적 중요성 규명

액션을 공간적으로 정렬된 채널 결합 형태로 주입하는 방식이 Trajectory Accuracy와 동역학 지표를 가장 크게 향상시켰다. 또한 첫 프레임 앵커와 단·중·장기 기억을 갖춘 계층적 히스토리 버퍼가 장기 자기회귀 롤아웃에서 상태 표류와 아이덴티티 붕괴를 억제했다. 이 두 설계 요소는 월드 모델을 정책 평가기로 쓸 때 핵심적인 안정성 확보 수단임이 입증되었다.

핵심 아이디어 이해하기

문제 출발점은 로봇 정책 평가가 언어 모델 평가와 달리 물리적 롤아웃에 의존하며 평가 비용과 일관성이 크게 제한된다는 점이다. 기존 비디오 생성 모델은 시각적 품질을 빠르게 향상시켰지만 시퀀스 반복 생성 시 행동-상태 보존성과 장기적인 물리 일관성은 보장하지 못했다. 이 한계는 정책 간 상대적 성공률을 보존해야 하는 평가자 역할에서는 특히 치명적이다. 이 논문의 해결 원리는 평가자 목표를 명시적으로 정의하고 이에 맞춘 데이터·모델·평가 설계를 통합하는 것이다. 구체적으로 예측 대상은 단순 프레임 품질이 아니라 정책 행동이 반복적으로 투입될 때도 정책별 성공 순위를 보존하는 능력이다. 이를 위해 paired real-rollout 데이터로 만든 WMBench와 WMES 인간 주석을 기준으로 자동 지표와 아키텍처 선택을 체계적으로 비교했다. 달라지는 점은 평가 기준과 모델 학습 목표의 전환이다. 기존에는 단일 샷 비디오 생성 품질이 우선시되었으나 본 연구는 장기 자기회귀 롤아웃에서 행동 충실성, 시공간적 지오메트리 보존, 메모리의 지속성이 평가 성능을 좌우한다는 사실을 실험적으로 확인했다. 따라서 데이터 균형과 제어 주입, 메모리 구조를 설계 목표로 삼으면 실제 정책 평가와 높은 정렬도를 달성할 수 있다는 결론이 도출되었다.

방법론

벤치마크 설계는 실제 텔레오퍼레이션 궤적과 정책 롤아웃을 에피소드 단위로 엄격히 분리한 데이터 파이프라인을 중심으로 구성되었다. 각 테스트 에피소드는 훈련에 절대 포함되지 않도록 보장되며, 멀티뷰 동기화와 행동-관찰 정렬이 데이터 정합성의 핵심 요건으로 구현되었다. 또한 4단계 폐쇄 루프 평가 프로토콜을 통해 정책이 월드 모델과 상호작용하는 실제 배포 시나리오를 재현했다. 모델 측면에서는 기존 비디오 확산 백본을 자율 생성형(autoregressive) 세계 생성기로 변환했다. 이를 위해 상대적 RoPE, 메모리 패치화, 계층적 히스토리 가이던스, 그리고 행동·깊이·세만틱·캡션을 시간적으로 정렬된 조건으로 주입하는 통합 제어 표현을 도입했다. 생성 과정은 각 미래 윈도우를 노이즈화한 뒤 역사 상태와 정렬된 제어 잠재값을 조건으로 복원하는 확산 기반 복원 손실로 학습되었다. 평가 메커니즘은 인간 주석 기반 WMES와 자동 진단 지표 군을 병렬로 사용하여 평가 정렬을 측정했다. 자동 지표는 JEPA Similarity, Subject Consistency, Trajectory Accuracy, Perspectivity 등 지오메트리·대상 보존성과 관련된 항목을 중점으로 선정하였다. 또한 대량 주석을 가능하게 하기 위해 LoRA로 튜닝된 Qwen3-VL 기반 VLM 평가자를 도입하여 인간 점수와 높은 일치도를 확보하였다.

주요 결과

메트릭 상관성 분석에서 시각적·지오메트리 품질 그룹이 WMES와 가장 높은 상관을 보였고, 개별 지표로는 Subject Consistency(ρ=0.88)와 Perspectivity(ρ=0.86)가 강한 예측력을 가졌다. 반면에 Background Consistency와 Photometric Consistency는 정적 영상으로 속이는 모델을 과대평가하여 WMES와 음의 상관을 보였다. 이 결과는 정책 평가자로서는 단순한 외관적 안정성이 오히려 오도하는 지표가 될 수 있음을 밝혔다. 데이터 구성 실험에서는 GigaData 단독보다 GigaData에 PhysData를 추가한 혼합이 전체 평균 점수를 0.5654에서 0.6144로 개선하여 가장 균형 잡힌 성능을 보였다. AgiBot과 같은 로봇 특화 데이터는 주로 주제 일관성과 광학적 충실도를 높였으나 JEPA 유사성과 Trajectory Accuracy를 일부 저하시켜 과적합 위험을 드러냈다. 이 결과는 평가자용 학습이 일반 물리적 영상과 로봇 시연의 적절한 균형을 요구함을 시사한다. 아키텍처 실험에서 채널 결합된 픽셀 정렬 제어는 Trajectory Accuracy를 0.3528까지 끌어올렸고, 계층적 메모리의 추가는 장기 PSNR과 FID/FVD 지표 전 구간에서 현저한 향상을 보였다. 최종적으로 논문이 제안한 디자인을 반영한 GigaWorld-1은 핵심 평가 정렬 지표에서 경쟁 기준 대비 14.9% 향상을 달성했다. 또한 VLM 기반 자동 평가자는 인간 라벨과의 정확도 87.80% 및 인접 정확도 99.16%를 기록하여 대규모 비교 실험의 확장 가능성을 입증했다.

기술 상세

전체 아키텍처는 사전학습된 비디오 확산 백본을 재사용하되 VAE와 텍스트 인코더를 동결하고 LoRA 어댑터와 제어 모듈을 통해 로봇 도메인에 적응시키는 방식으로 설계되었다. 생성기는 autoregressive 확산-트랜스포머로 동작하며, 각 세그먼트는 역사 메모리와 정렬된 제어 잠재값을 입력으로 받아 미래 윈도우를 복원한다. 확산 노이즈 예측 목표와 계층적 히스토리 가이던스가 결합되어 장기 롤아웃의 안정성을 확보했다. 제어 입력은 헤드뷰용 EE pose map과 손목뷰용 ray map을 뷰별로 렌더링하여 폭 방향으로 결합한 후 인코더로 잠재 제어 표현으로 변환했다. 이 통합 제어 잠재값은 생성 과정 전반에 픽셀 정렬된 방식으로 주입되어 행동-공간 정렬을 유지했다. 채널 결합 방식은 cross-attention이나 ControlNet 스타일보다 Trajectory Accuracy와 동역학 지표에서 우수한 성능을 보였다. 장기 일관성 유지를 위해 첫 프레임 앵커와 단·중·장기 계층 메모리를 보유했고 Relative RoPE를 적용하여 매 생성 스텝에서 로컬 시간좌표계를 재초기화하였다. 텍스트 조건의 연속성 문제는 SLERP를 이용한 임베딩 보간으로 해결하여 프롬프트 전환 시 급격한 변화 없이 점진적인 의미 전이를 유도했다. 학습 파이프라인은 기초 로봇 파운데이션 적응, autoregressive 학습, 장면 적응(선택적), 그리고 DMD2 기반 수단-스텝 증류 단계를 포함하는 점진적 커리큘럼으로 구성되었다.

한계점

논문은 VLM 기반 자동 평가자의 높은 근사치를 보고했지만 VLM이 물리적 현실성의 세부 판단에서 여전히 취약하다는 한계를 명시했다. 또한 로봇 특화 데이터만 과도하게 사용하면 JEPA 유사성이나 궤적 정확도 측면에서 과적합이 발생하여 평가자 일반화에 부정적 영향을 미칠 수 있다는 점을 보고했다. 마지막으로 월드 모델 평가의 신뢰성은 데이터 균형·메모리 설계·공간 정렬 제어의 조화에 민감하므로 특정 평가 도메인으로의 전이에는 추가 검증이 필요하다고 언급했다.

실무 활용

GigaWorld-1과 WMBench는 로봇 정책 개발 파이프라인에서 실제 롤아웃을 대폭 줄이면서 정책 간 상대 성능을 선별하는 데 실무적으로 활용할 수 있다. 공개된 코드와 데이터셋은 다른 연구자가 동일한 평가 프로토콜로 모델을 비교하거나, 자신들의 로봇 플랫폼에 맞춘 평가 파이프라인을 재현하는 기반이 된다. GitHub 저장소가 제공되어 실무 적용을 위한 재현성과 도구 접근성이 확보되어 있다.

연구 환경에서 새로운 정책 체크포인트 간의 상대적 성능 순위 검증을 자동화하는 내부 평가 파이프라인 구축
월드 모델 기반의 빠른 오류 탐지와 실패 모드 분류를 통해 실제 로봇 테스트 수를 줄이는 개발 워크플로 개선
다중 뷰 시나리오에서 행동-상태 정렬을 요구하는 로봇 과제의 데이터 증강 및 시뮬레이션 대체 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

world model(월드 모델)WMBench(정렬형 평가 벤치마크)GigaWorld-1(GigaWorld-1 모델)WMES(월드 모델 평가 점수)end-effector-pose-map(말단효과기 포즈 맵)relative-rope(상대적 RoPE)

용어 해설

월드 모델(World Model): — 로봇 정책 평가 맥락에서 입력된 관찰과 정책의 행동을 받아 미래 관찰을 예측하는 시각-동작 조건 생성 모델이다. 이 모델은 반복적 롤아웃을 통해 정책의 성공률과 실패 모드를 추정하고 실제 실행과의 정렬도를 측정하는 데 사용된다. 월드 모델의 신뢰성은 장기 롤아웃 동안 행동 충실성, 지오메트리 보존성, 그리고 정책별 순위 보존 능력으로 판단된다.
World Model as Evaluator Score(WMES): — 사람 평가자 또는 튜닝된 VLM이 부여하는 0–3의 서열형 점수로서 세계 모델 롤아웃이 실제 롤아웃의 성공 여부와 시각적·물리적 충실도를 얼마나 잘 보존하는지를 나타낸다. 이 점수는 모델별 평가 정렬도와 자동 지표의 상관관계를 측정하는 기준으로 사용된다. 점수 체계는 정확한 결과와 높은 충실도부터 완전 오작동까지 네 단계로 구성된다.
말단효과기 포즈 맵(End-Effector Pose Map): — 헤드뷰용 제어 신호로서 로봇 말단효과기의 위치·자세·그리퍼 상태를 이미지 평면으로 투영한 픽셀 정렬 표현이다. 이 표현은 행동 의도를 공간적으로 정렬하여 월드 모델이 행동과 물체 반응을 연결하도록 돕는다. 보정된 카메트리 정보를 활용하여 다중 뷰 일관성을 유지하는 데 중요하다.
상대적 RoPE(Relative RoPE): — 자유 길이의 자기회귀 롤아웃에서 절대시간 인덱스 대신 로컬 시점 좌표계를 사용하는 위치 인코딩 방식이다. 각 생성 단계에서 역사 컨텍스트와 현재 생성 윈도우를 합쳐 로컬 포지션을 재초기화하므로 장기 자가회귀에서 시간 표류가 줄어든다. 이로 인해 반복 롤아웃 중에 반복적인 동작과 시간적 불안정성이 감소한다.

GigaWorld-1과 WMBench를 통한 로봇 정책 평가용 월드 모델 설계와 검증

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.