WorldMark: 상호작용형 비디오 월드 모델을 위한 통합 벤치마크 스위트

기존의 비디오 생성 모델들은 각자 서로 다른 환경과 조작 방식으로 성능을 측정하여 객관적인 비교가 불가능했다. WorldMark는 표준화된 조작 인터페이스와 테스트 케이스를 제공하여 다양한 월드 모델의 성능을 동일 선상에서 평가할 수 있는 기반을 마련했다.

기존의 비디오 생성 모델 평가는 주로 정적인 텍스트나 이미지를 입력하고 그 결과물의 화질을 측정하는 데 그쳤다. 하지만 최근 등장하는 '월드 모델'은 사용자의 실시간 조작에 반응해야 하므로, 단순히 예쁜 영상을 만드는 것보다 사용자의 의도대로 화면이 움직이는지(Controllability)와 움직임 속에서도 배경이나 사물이 무너지지 않는지(Consistency)가 더 중요하다.

WorldMark는 이를 위해 모든 모델에게 '똑같은 사진'을 주고 '똑같은 조작 명령'을 내리는 표준 실험실 환경을 설계했다. 예를 들어, 어떤 모델은 '앞으로 가기'를 텍스트로 이해하고 어떤 모델은 좌표값으로 이해하는데, WorldMark는 중간에서 이를 번역하여 모든 모델이 동일한 '전진' 명령을 수행하게 만든다. 이를 통해 모델의 순수한 물리 엔진 능력과 시각적 유지력을 공정하게 비교할 수 있게 된다.

WorldMark는 다섯 가지 핵심 구성 요소로 이루어진 파이프라인을 따른다. 먼저 Image Suite에서 다양한 시점과 스타일의 참조 이미지를 선택하고, Action Suite에서 15가지의 표준화된 궤적 중 적절한 액션을 선택한다.

핵심 메커니즘인 Unified Action Interface는 공통 어휘(WASD+L/R)를 입력받아 각 모델의 Native Format으로 변환한다. [WASD 입력 → 모델별 어댑터 연산 → 텍스트/포즈/벡터 출력 → 모델 제어] 과정을 거친다. 이후 생성된 영상은 8개의 지표를 통해 평가된다. 예를 들어 Reprojection Error는 [생성된 프레임들 사이의 픽셀 대응점 추출 → 3D 구조 재구성 → 재투영 오차 계산 → 기하학적 일관성 수치화] 순으로 계산되어 월드의 안정성을 측정한다.

실험 결과, 시각적 품질과 월드 일관성은 서로 상관관계가 낮음이 밝혀졌다. YUME 1.5는 가장 심미적인 영상을 생성했지만 장기 일관성에서는 낮은 점수를 기록한 반면, Google의 Genie 3는 시각적 화질은 중간 수준이었으나 기하학적 일관성에서 압도적인 성능을 보였다.

또한 3인칭 시점 생성은 여전히 큰 과제로 남아있다. 1인칭에서 3인칭으로 시점을 전환할 때 Matrix-Game 2.0의 회전 오류가 약 20배 증가하는 등, 대부분의 오픈소스 모델들이 가시적인 캐릭터 주변의 카메라 제어를 유지하는 데 어려움을 겪는 것으로 나타났다.

WorldMark 아키텍처는 이질적인 제어 인터페이스를 통합하는 데 초점을 맞춘다. YUME(텍스트), HY-World(6-DoF 포즈), Open-Oasis(25차원 벡터) 등 각기 다른 입력 형식을 수용하기 위해 모델별 액션 매핑 어댑터를 구현했다.

평가 지표 측면에서는 DROID-SLAM을 활용하여 생성된 비디오로부터 카메라 포즈를 역으로 추정하고, 이를 실제 입력된 궤적과 비교하여 Translation Error와 Rotation Error를 산출한다. 또한 VLM(Gemini-3.1-Pro 등)을 평가자로 활용하여 객체의 상태 변화나 스타일의 연속성을 정성적으로 분석함으로써 기하학적 지표가 놓칠 수 있는 시맨틱 오류를 보완한다.

본 논문은 현재 평가 대상 모델들이 주로 1인칭 시점에 최적화되어 있어 3인칭 시점에서의 성능 저하가 뚜렷하다는 점을 명시했다. 또한 고해상도(1080p 이상)에서의 메모리 일관성 유지 능력을 평가하는 데 있어 현재 모델들의 추론 비용이 높다는 점이 제약으로 작용할 수 있다.