상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

왜 중요한가

World model의 점수는 영상이 그럴듯해 보이는지만으로 충분하지 않고, 행동 뒤에 목표 객체가 올바르게 변했는지와 보이지 않는 상태가 계속 갱신됐는지까지 판별해야 합니다. HarnessEval-W는 사례별 맥락에 맞춰 평가 기술을 선택하고 하위 질문과 시각적 근거를 연결해 최종 점수를 산출하므로, 330개 사례와 18개 모델의 비교를 실패 원인까지 추적 가능한 형태로 바꿉니다. 사람 선호와의 Spearman 상관은 Intentional Transition에서 ρ=0.93, Physical Transition에서 ρ=0.87로 측정됐습니다.

핵심 기여

고정 규칙을 대체한 계층형 평가

HarnessEval-W는 초기 이미지, 행동 프롬프트, 평가 설정을 읽은 뒤 사례에 적용 가능한 skill을 선택합니다. 각 skill은 목표 가시성, 전환 발생, 최종 상태, 추가 사건 여부처럼 측정 가능한 하위 질문으로 나뉘고 전문화된 sub-agent가 각각 점수와 진단을 반환합니다. 상위 agent는 근거를 검증하고 통합해 단일 점수 대신 전체 판단 경로를 남깁니다.

세 축과 여덟 평가 설정

논문은 World Model의 관찰 생성, 행동에 따른 상태 전환, 시간에 따른 상태 유지라는 세 기능에서 Observation Quality, Transition Correctness, World Persistence를 구성합니다. 세 축은 Render Quality, Physical Observation, Exploratory Transition, Intentional Transition, Physical Transition, Drift Resistance, Revisit Consistency, Offscreen Evolution의 여덟 설정으로 세분화됩니다. 이 구조는 영상의 시각적 품질과 행동의 인과적 결과, 장기 상태 일관성을 서로 다른 질문으로 분리합니다.

검증 루프를 포함한 330개 사례 구축

사례 생성기는 장면 taxonomy와 probe family를 조합해 초기 세계를 만들고, 이미지에 근거한 planner가 실행 가능한 행동과 기대 결과를 작성합니다. 별도 validator는 목표의 가시성, 행동 가능성, 결과의 구체성, 필요한 rollout 증거를 점검하며 조건을 충족하지 못한 후보는 재샘플링합니다. 그 결과 여섯 probe family를 포함한 330개 평가 사례가 구성됐습니다.

사람 선호와 반복 평가의 정합성

18개 World Model을 동일한 330개 사례로 평가한 결과 Seedance 2.0이 Overall 75.5로 1위, Wan 2.7이 75.0, Kling 3.0이 74.4를 기록했습니다. 사람의 5,000건 A/B 판단으로 얻은 Bradley–Terry 순위와 비교하면 Intentional Transition의 Spearman ρ는 0.93, Physical Transition은 0.87이었습니다. 세 번 반복한 평가에서 HarnessEval-W의 상관 범위는 0.928–0.964였고 Bradley–Terry envelope는 0.33으로 WBench의 1.61보다 4.9배 좁았습니다.

핵심 아이디어 이해하기

일반적인 영상 생성 평가는 한 장면의 품질이나 시간적 안정성을 점수화하지만, World Model은 행동을 입력받은 뒤 세계 상태가 어떻게 바뀌는지까지 생성해야 합니다. 초기 관찰을 $o_{-T},[?25l\cdots,o_0$ 로 두고 행동 $a_0,[?25l\cdots,a_{t-1}$ 을 적용하면 이후 관찰 $o_1,[?25l\cdots,o_t$ 가 나오며, 이 과정에는 관찰을 만드는 상태와 행동에 반응해 상태를 갱신하는 과정이 함께 들어갑니다. 따라서 정지 화면의 현실감만 높아도 목표 물체의 변화나 물리적 결과를 올바르게 생성한다는 보장은 없습니다.

방법론

논문은 World Model의 미래 관찰 분포를 숨은 상태의 관찰 가능도와 상태 전이의 곱으로 표현합니다. 식은 $P(o_1,\cdots,o_t\mid o_{-T},\cdots,o_0;\,a_0,\cdots,a_{t-1})\propto P(s_0\mid o_{-T},\cdots,o_0)\prod_{i=1}^{t}S(o_i\mid s_i)T(s_i\mid s_{i-1},a_{i-1})$ 이며, $o_i$ 는 관찰, $a_i$ 는 행동, $s_i$ 는 숨은 세계 상태, $S$ 는 상태에서 관찰이 생성될 가능도, $T$ 는 행동 조건부 상태 전이를 뜻합니다. 과거 관찰에서 초기 상태 $s_0$ 를 추정한 뒤 각 단계에서 이전 상태와 행동으로 $s_i$ 를 갱신하고, 그 상태에서 $o_i$ 를 생성하는 입력→상태 전이→관찰 출력 흐름입니다. 예를 들어 오른쪽 gripper가 숟가락을 들어 올리는 사례에서는 행동이 목표 숟가락의 상태를 바꾸고, 영상에서 숟가락이 그릇 위에 떠 있는 최종 관찰이 나와야 하며, 왼쪽 gripper나 다른 물체가 불필요하게 움직이면 전이 점수가 낮아집니다.

평가 축은 식에서 각각 관찰 함수 $S$ , 행동 조건부 전이 $T$ , 시간에 따른 상태열 $s_i$ 에 대응합니다. Observation Quality는 Render Quality와 Physical Observation으로 나뉘고, Transition Correctness는 시점 이동·의도된 객체 변화·물리적 개입의 세 전환을 따로 측정합니다. World Persistence는 장기 장면의 Drift Resistance, 떠났다가 돌아온 뒤의 Revisit Consistency, 보이지 않는 동안 진행되는 Offscreen Evolution으로 구성됩니다. 각 사례는 0에서 1 사이의 세부 점수를 얻은 뒤 1에서 100 사이로 정규화되며, 관찰 점수는 330개 사례 전체에서 평균하고 나머지 지표는 해당 probe family 사례에서 평균합니다.

평가 실행은 사례 맥락을 읽는 상위 planner, 재사용 가능한 skill library, 세부 질문을 수행하는 sub-agent, 근거를 확인하는 validator로 이어집니다. 사례의 초기 이미지·행동 프롬프트·평가 설정을 입력하면 planner가 필요한 skill을 고르고, 각 skill은 목표 가시성·전환 발생·목표 특이성·최종 상태·anchor 보존·추가 사건·판정 가능성 같은 질문으로 영상을 나눠 검사합니다. 하위 결과는 점수와 진단으로 반환되고 상위 agent가 지원되지 않는 측정을 제외하거나 실패 근거를 보존한 뒤 evidence tree와 최종 점수를 만듭니다.

데이터 구축은 환경, 전경 객체, 중경 구조, 장면 밀도, 외관, 시점의 여섯 taxonomy 축과 여섯 probe family를 조합하는 방식입니다. Image Generator가 초기 이미지를 만들고 Image-grounded Planner가 이미지에 실제로 존재하는 대상에 행동, 카메라 경로, 제어 순서, rollout 계획을 부여한 뒤 Case Validator가 목표 가시성·행동 가능성·기대 결과·증거 충분성을 검사합니다. 유효하지 않은 후보는 sampler로 되돌아가 재생성되며, 이 절차로 다양한 장면과 상호작용을 포함한 330개 사례가 구성됩니다.

주요 결과

18개 모델을 동일한 330개 사례에서 비교한 Overall 순위는 Seedance 2.0 75.5, Wan 2.7 75.0, Kling 3.0 74.4, MiniMax H3 74.3 순서였습니다. 세부 지표의 선두는 서로 달랐으며 Wan 2.7은 Intentional Transition과 Physical Transition, Seedance 2.0은 Drift Resistance, HY-WorldPlay 1.5는 Revisit Consistency, SANA-WM은 Offscreen Evolution에서 강점을 보였습니다. 이는 전체 평균 하나가 모델별 능력 분포의 차이를 가릴 수 있음을 뜻합니다.

사람 정합성 실험은 9개 대표 모델의 영상 쌍을 대상으로 5,000건의 A/B 판단을 수집하고 Bradley–Terry 모델로 모델별 강도를 계산했습니다. HarnessEval-W 점수와 사람 순위의 Spearman 상관은 Intentional Transition에서 ρ=0.93, Kendall τ=0.82였고 Physical Transition에서 ρ=0.87, τ=0.74였습니다. 동일 영상과 GPT-5.5 backend로 WBench와 비교했을 때 Physical pairwise accuracy는 31.9%에서 71.7%로, Intentional은 60.2%에서 77.8%로 높아졌습니다.

WBench와의 차이는 평가 질문을 여러 근거 단위로 분해했을 때 더 뚜렷했습니다. Physical 설정에서 draw rate는 52.2%에서 1.8%로 낮아졌고 Intentional 설정에서는 36.1%에서 11.1%로 낮아졌으며, 두 설정 모두 Brier score도 HarnessEval-W가 더 낮았습니다. 세 번 반복한 평가에서 HarnessEval-W의 fitted-curve slope는 9.6–10.8, 사람 강도와의 상관은 0.928–0.964였지만 WBench의 slope는 11.2–21.0, 상관은 0.646–0.780이었습니다.

평가 축 사이에는 능력의 분리가 나타났습니다. Intentional Transition과 Physical Transition의 Pearson 상관은 r=0.98이었지만 Exploratory Transition과 이 두 지표의 상관은 각각 r=-0.15와 r=-0.18이었고, Render Quality와 Physical Observation의 상관은 r=-0.04였습니다. Wan 2.2를 DreamX-World로, HunyuanVideo 1.5를 HY-WorldPlay 1.5로 Fine-tuning한 비교에서는 Revisit 점수가 각각 7.8점과 8.4점 상승한 반면 Intentional 점수는 11.9점과 24.2점, Physical 점수는 7.2점과 11.2점 하락했습니다.

기술 상세

논문은 interactive World Model을 과거 관찰과 미래 행동에서 이후 관찰을 예측하는 조건부 생성 시스템으로 정의합니다. 과거 관찰 $o_{-T},\cdots,o_0$ 는 초기 숨은 상태 $s_0$ 의 분포를 만들고, 행동 $a_{i-1}$ 와 이전 상태 $s_{i-1}$ 는 전이 함수 $T(s_i\mid s_{i-1},a_{i-1})$ 를 통해 다음 상태 $s_i$ 를 만들며, 관찰 함수 $S(o_i\mid s_i)$ 가 해당 상태의 영상을 출력합니다. 식의 곱은 각 시간 단계의 상태 전이와 관찰 생성을 연결하고, 숨은 상태를 주변화해 미래 관찰 분포를 얻는 구조입니다. 이 분해가 관찰 품질, 행동 전환, 시간적 상태 유지라는 세 평가 축의 근거가 됩니다.

여덟 세부 지표는 각기 다른 증거 요구를 갖습니다. Render Quality는 영상의 안정성·가독성·시간적 연속성을 검사하고 Physical Observation은 각 프레임의 구조와 물리적 타당성을 검사하며, Exploratory Transition은 시점 변화와 세계 호환성을 검사합니다. Intentional Transition은 지정 대상만 바뀌고 보호된 상태가 유지되는지, Physical Transition은 접촉·지지·운동 뒤의 동역학적 결과가 나타나는지 확인합니다. Drift Resistance, Revisit Consistency, Offscreen Evolution은 장기 rollout에서 불변 객체 보존, 귀환 후 상태 일치, 비가시 과정의 지속을 각각 측정합니다.

각 사례의 평가 경로는 고정된 전체 rubric이 아니라 case-specific skill routing으로 정해집니다. 초기 이미지, prompt, evaluation setting을 입력받은 planner가 skill library에서 적용 가능한 검사를 선택하고, 사례에 맞지 않는 Offscreen Evolution 같은 skill은 근거와 함께 건너뜁니다. 활성화된 skill은 하위 agent를 병렬 실행해 목표가 보이는지, 전환이 실제로 발생했는지, 올바른 대상이 바뀌었는지, 최종 상태가 맞는지, 추가 사건이 없는지를 판정합니다. 상위 validator는 각 결과의 근거와 적용 가능성을 확인한 뒤 per-dimension score와 최종 score를 산출합니다.

Intentional Change Verifier의 사례에서는 오른쪽 gripper가 나무 숟가락을 들어 투명한 그릇 위에 띄우라는 prompt가 입력됩니다. Model A처럼 추가 gripper와 숟가락이 생성되거나 왼쪽 gripper가 움직이면 target specificity와 no extra event, final state 검사가 낮아지고, Model B는 목표 숟가락을 올바르게 바꾸지 못해 최종 상태 점수가 낮아지며, Model C는 네 하위 검사에서 모두 1.00을 받습니다. 이처럼 최종 점수만 저장하지 않고 어떤 객체와 시간 구간에서 실패했는지 evidence tree에 연결합니다.

실험에서는 각 metric을 0에서 1 사이로 계산한 뒤 1에서 100 사이로 정규화합니다. Obs-R과 Obs-P는 330개 사례 전체에서 평균하고, 나머지 여섯 metric은 해당 probe family에 속한 사례에서 평균하며, Overall은 사례 수준 점수의 산술 평균입니다. 사람 정합성은 두 rollout 중 더 나은 결과를 고르는 A/B 판단을 Bradley–Terry 강도로 변환해 benchmark 순위와 비교하고, 반복 안정성은 각 실행의 score-to-human 선형 곡선과 상관 범위, 곡선 envelope로 측정합니다.

실무 활용

HarnessEval-W는 World Model의 영상 rollout을 모델 간 공통 사례로 비교하면서 점수의 근거와 실패 지점을 함께 저장하는 공개 benchmark입니다. 같은 사례를 text instruction, camera pose, native action 등 각 모델의 입력 형식으로 변환하고, 동일한 VLM backend와 frame-sampling 설정으로 평가해 비교 조건을 맞춥니다. 저장소와 live benchmark가 공개되어 연구팀이 새로운 skill과 사례를 추가하는 출발점으로 활용할 수 있습니다.

World Model의 행동 수행 능력을 비교할 때 330개 사례의 공통 질문과 여덟 세부 지표를 적용하고, Intentional Transition이나 Physical Transition의 실패 원인을 하위 질문별로 추적할 수 있습니다. 초기 이미지와 행동 프롬프트를 모델의 native conditioning interface에 맞게 변환한 뒤 evidence tree에서 목표 가시성, 최종 상태, 추가 사건 여부를 확인합니다. 전체 평균만으로 구분하기 어려운 semantic intervention과 물리적 반응의 차이를 별도 점수로 비교할 수 있습니다.
영상 생성 모델을 interactive world simulator로 Fine-tuning하기 전후에 능력 이동을 측정할 수 있습니다. 원본 모델과 변환 모델을 같은 사례에서 평가하고 축별 점수 차이 Δ를 계산하면 Revisit Consistency 상승과 Intentional·Physical Transition 하락처럼 데이터 구성에 따른 변화가 드러납니다. 이 비교는 탐색 중심 궤적 학습이 명령된 개입 처리에 미치는 영향을 점검하는 데 쓰입니다.
새 평가 상황을 추가하는 benchmark 개발 과정에서 scene taxonomy, probe family, image-grounded planning, validation loop를 재사용할 수 있습니다. 후보 사례는 목표 가시성, 실행 가능성, 기대 결과의 구체성, rollout 증거의 충분성을 통과해야 하며 실패한 후보는 재샘플링됩니다. 이에 따라 장면과 행동을 늘리면서도 판정 불가능한 사례가 최종 세트에 섞이는 것을 줄일 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

HarnessEval-W(에이전트 기반 World Model 평가 benchmark)World Model(상호작용 세계 모델)Sub-agent(세부 평가 에이전트)Evidence Tree(근거 추적 구조)Transition Correctness(행동 전환 정확성)World Persistence(세계 상태 지속성)

용어 해설

세계 모델(World Model): — World Model은 과거 관찰과 사용자의 행동을 입력받아 이후 세계의 관찰을 생성하는 모델입니다. 내부 상태를 행동에 맞게 갱신하고 시간이 지나도 객체·물리·장면의 일관성을 유지해야 하므로 단순한 영상 생성보다 상호작용과 인과성을 함께 평가해야 합니다.
에이전트 기반 평가(Agentic Evaluation): — Agentic Evaluation은 고정된 점수 규칙을 모든 사례에 적용하지 않고, 평가 에이전트가 사례의 맥락을 읽어 필요한 평가 기술과 증거 수집 절차를 선택하는 방식입니다. 하위 에이전트가 세부 질문을 나누어 처리하고 상위 에이전트가 결과를 통합하므로 복합적인 영상 평가 과정을 추적할 수 있습니다.
증거 트리(Evidence Tree): — Evidence Tree는 최종 점수에 이르는 평가 질문, 하위 에이전트의 관찰, 도구가 제공한 시각적 근거, 점수 통합 과정을 계층적으로 저장한 구조입니다. 전체 점수만 남기는 방식과 달리 어떤 세부 질문이 실패했는지 역추적할 수 있어 평가 결과의 검증과 오류 진단에 쓰입니다.
세계 지속성(World Persistence): — World Persistence는 모델이 시간에 따라 세계 상태를 갱신하면서도 변하지 않아야 할 객체와 장면 특성을 보존하고, 행동이나 시간에 따라 변해야 할 과정은 일관되게 계속하는 능력입니다. HarnessEval-W는 장기 rollout의 drift, 떠났다가 돌아온 장소의 일관성, 보이지 않는 동안 진행되는 사건을 각각 평가합니다.
Bradley–Terry 모델(Bradley–Terry Model): — Bradley–Terry Model은 두 항목의 대결 결과를 바탕으로 각 항목의 상대적 강도를 추정하는 통계 모델입니다. 이 논문에서는 사람이 고른 5,000건의 영상 쌍별 선호를 모델별 강도 점수로 변환해 HarnessEval-W의 순위와 비교하는 기준으로 사용했습니다.

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.

실제 로봇 영상에서 픽셀 지표가 모델을 가르지 못하는 이유

비디오 생성 모델의 시각 추론 능력 평가

Code-as-World: 실행 가능한 물리 세계 표현

참조 의미를 보존하는 결과 중심 영상 생성 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.

실제 로봇 영상에서 픽셀 지표가 모델을 가르지 못하는 이유

비디오 생성 모델의 시각 추론 능력 평가

Code-as-World: 실행 가능한 물리 세계 표현

참조 의미를 보존하는 결과 중심 영상 생성 평가