WorldReasonBench 및 WorldRewardBench: 세계-상태 추론 기반 비디오 생성 평가 벤치마크

현대의 고성능 비디오 생성기가 시각적 몰입감을 잘 구현하더라도 세계의 물리적·사회적 규칙과 시간에 따른 변화의 일관성을 보장하지는 못한다. WorldReasonBench는 관측된 초기 상태와 행동으로 미래 상태를 예측하는 세계-상태 추론을 직접 평가할 수 있게 설계되었다. WorldRewardBench는 보상 모델 평가를 위한 대규모 인간 주석 쌍을 제공해 랭킹 및 보상 최적화 연구를 지원한다. 이로써 비디오 생성의 진정한 세계 인지 능력을 측정하는 표준이 제시된다.

"비디오 생성은 표면적 시각 품질만으로 평가될 수 없으므로, 초기 상태와 행동 주어진 상황에서 세계의 상태가 시간에 따라 어떻게 변하는지에 대해 일관성을 갖춘 비디오를 생성하는 능력을 측정해야 한다." 이 논문은 이를 위해 436개 케이스의 다차원 추론을 정의하고, QA 기반 검토와 3개 축의 품질 평가를 결합한 이중 평가 체계를 제시한다. 또한 6K 규모의 보상-모델 평가 데이터셋인 WorldRewardBench를 도입해 보상 모델의 신뢰성까지 검증한다. 이로써 시각적 타당성뿐 아니라 세계-상태 추론 능력이 높은 모델이 선호되도록 하는 평가 체계를 제공한다.

1. WorldReasonBench 구성: 초기 상태와 행동에 기초하여 미래 상태의 비디오를 생성하도록 요구하는 케이스 436개, 4차원 추론 및 22개 하위 카테고리 확보. 2) 데이터 생성 및 평가: 각 케이스에 대해 비디오를 생성하고,Ground-truth QA 및 진단 절차를 통해 시간적·인과적 일관성을 평가한다. 3) 평가 프로토콜: Process-aware Reasoning Verification은 프롬프트-사이 QA-페이즈 및 단계별 진단으로 흔들림과 인과 관계 오류를 탐지하고, Multi-dimensional Quality Assessment는 Reasoning Quality, Temporal Consistency, Visual Aesthetics를 점수화한다. 4) WorldRewardBench: 약 6K 쌍의 인간 주석과 1.4K 비디오로 보상 모델의 랭킹 성능 및 구성 요소를 평가한다.

현대 비디오 생성기에서 시각적 설득력과 세계-추론 간에 비일관성이 존재함이 관찰된다. 비디오가 외형적으로 그럴듯해도 시간적 흐름, 인과 관계, 정보 보존 등에서 Failed 사례가 나타난다. 두 벤치마크를 통한 평가 체계는 이러한 차이를 정량화하고 보상 모델의 학습 신호로 활용될 수 있음을 시사한다.

단락 1: 전체 아키텍처 구성 WorldReasonBench는 데이터 수집(초기 상태, 행동) → 비디오 생성(모델 후보) → Ground-truth QA 어노테이션 → 추론 진단 및 점수화의 흐름으로 구성된다. 단락 2: 핵심 메커니즘 Ground-truth QA를 통한 프로세스-인-Reasoning Verifications를 통해 프롬프트-기반 추론의 시간적/인과적 결함을 탐지한다. 점수화는 S_state, S_proc, S_fidel, S_mech의 네 가지 축으로 계산된 Acc_QA 및 S_dyn를 포함한다. 단락 3: Prior work 대비 차별점 Hypothesis와 Ground-truth QA의 결합은 단순 시각적 품질 평가를 넘어 세계-상태 추론의 정합성을 평가한다. 단락 4: 구현/학습 세부사항 세계-상태의 정의, 추론 차원의 구성, Ground-truth QA의 설계 원칙, 보상-모델 평가를 위한 데이터레이어 구성 등이 제시된다.