실행 가능한 상태로 지속되는 생성형 게임 세계

왜 중요한가

기존 비디오 월드 모델은 그럴듯한 다음 프레임을 생성해도 화면 밖 개체, 체력, 인벤토리, 사망 같은 사실을 장기적으로 보존하거나 사용자가 실행 규칙으로 수정하기 어려웠습니다. 이 프레임워크는 월드 상태의 갱신을 가벼운 엔진에 맡기고 영상 생성은 별도 렌더러로 분리해, CombatStateBench에서 Count Accuracy 94%와 State Accuracy 98%를 기록했습니다.

핵심 기여

실행 가능한 월드 프로그램과 명시적 상태 엔진

자연어 지시를 받은 코딩 에이전트가 개체의 초기 상태, 관계, 행동, 이벤트 트리거와 목표를 포함한 프로그램을 작성합니다. 경량 엔진은 이 규칙과 플레이어 행동을 적용해 화면 밖 개체와 비시각 속성까지 포함한 정규 월드 상태를 지속적으로 갱신합니다.

상태가 결합된 3D OBB 기반 제어 인터페이스

각 개체를 공유 월드 좌표계의 3D OBB로 표현하고 persistent identity, semantic category, dynamic state와 appearance 정보를 결합합니다. State Compiler는 이를 목표 카메라에 투영해 identity·semantic·direction 제어 맵을 만들고 생성형 렌더러에 전달합니다.

카메라 제어와 개체 이동을 분리한 생성형 렌더링

사전 학습된 LingBot-World-v1의 카메라 조건화 경로는 전역 시점 궤적을 처리하고, 학습 가능한 Structured Spatial ControlNet은 개체 위치·정체성·범주·카메라 기준 이동 방향을 처리합니다. 이 분리로 카메라 이동 때문에 생기는 겉보기 변위와 실제 개체 운동을 구분합니다.

CombatStateBench와 자동 데이터 엔진

ViPE, Qwen3-VL, SAM3, WildDet3D를 연결한 데이터 엔진으로 카메라 파라미터, 의미 범주, 인스턴스 궤적, 3D OBB와 이동 방향을 영상에서 복원합니다. CombatStateBench는 50개 클립에서 엔진 상태와 생성 영상의 캐릭터 수·사망 상태 일치성을 평가합니다.

핵심 아이디어 이해하기

일반적인 비디오 생성 모델은 이전 관측과 행동을 바탕으로 그럴듯한 다음 영상을 만들지만, 영상에 직접 드러나지 않는 체력·소속·인벤토리나 화면 밖 개체를 권위 있는 상태로 보존하지 않습니다. 따라서 프롬프트로 캐릭터가 사망했다고 지시해도 이후 프레임에서 생존 캐릭터 수와 상호작용 결과가 흔들릴 수 있습니다.

이 논문은 Transformer 기반 비디오 모델이 월드의 진실을 직접 관리하지 않도록 역할을 나눕니다. 코딩 에이전트는 자연어 지시를 초기 상태와 상태 전이 규칙을 담은 실행 프로그램으로 바꾸고, 경량 엔진은 플레이어 행동을 현재 상태와 규칙에 대입해 다음 상태를 계산합니다. 입력은 현재 상태와 행동이고, 출력은 개체·속성·관계·규칙이 갱신된 정규 월드 상태입니다.

엔진 상태를 그대로 영상 모델에 넣을 수 없으므로 각 개체를 3D OBB로 요약합니다. OBB는 위치·크기·방향을 공유 월드 좌표계에서 유지하고, ID·의미 범주·동적 상태를 덧붙입니다. State Compiler는 목표 카메라를 입력받아 OBB를 화면에 투영하고, 각 픽셀에 어떤 인스턴스인지, 어떤 범주인지, 개체 자체가 어느 방향으로 움직이는지를 기록한 제어 맵을 생성합니다.

생성형 렌더러는 이 제어 맵과 카메라 궤적을 따라 개체의 화면 위치와 상태 변화를 구현하고, OBB가 지정하지 않은 형태·질감·조명·관절·세부 움직임을 비디오 prior로 채웁니다. 짧은 청크가 끝나면 시간 이력과 깊이 기반 공간 메모리를 다음 청크에 넘기므로, 엔진이 계산한 상태와 영상의 외관을 분리한 채 긴 상호작용을 이어갑니다.

방법론

시스템의 상호작용 루프는 현재 월드 상태와 플레이어 행동을 경량 엔진에 입력해 다음 정규 상태를 계산하고, 이를 목표 카메라 기준의 렌더러 제어 신호로 변환한 뒤 다음 영상 청크를 생성하는 순서입니다. 초기 관측에서는 3D detector가 보이는 개체와 기하 배치를 복원하고, 코딩 에이전트가 개체의 ID·범주·관계·행동·규칙·목표를 포함한 월드 프로그램을 작성합니다. 엔진은 유효한 행동을 확인하고 효과와 이벤트를 적용하며, 화면 밖 개체나 health처럼 영상에 직접 나타나지 않는 값도 상태에 기록합니다.

State Compiler는 갱신된 상태에서 시각적으로 필요한 OBB를 추출해 목표 카메라에 투영합니다. 투영 영역에는 persistent identity를 위한 identity map, text encoder로 얻은 semantic embedding을 담은 semantic map, 월드 속도를 카메라 좌표계로 회전한 뒤 static·left·right·up·down·forward·backward 중 하나로 양자화한 direction map을 칠합니다. 세 맵은 채널 방향으로 결합되어 픽셀 정렬 시공간 제어 신호가 되며, 겹치는 영역은 깊이 인식 rasterization으로 보이는 개체를 선택합니다.

생성기는 LingBot-World-v1의 사전 학습 카메라 제어 비디오 backbone을 유지하고 Structured Spatial ControlNet을 추가합니다. 카메라 조건화는 전역 시점 변화를 처리하고 ControlNet은 투영된 OBB의 위치, 인스턴스 ID, 의미 범주와 개체 고유 이동을 처리합니다. 학습에서는 사전 학습 backbone과 기존 카메라 경로를 고정하고 새 공간 제어 경로를 최적화합니다. 긴 생성에서는 각 청크 안에서 양방향 denoising을 수행하고, 이전 청크의 다중 규모 시간 latent와 깊이·카메라 파라미터로 월드 공간에 올린 뒤 재투영한 spatial memory를 다음 청크에 제공합니다.

학습 데이터는 HUD가 없는 Cyberpunk 2077, Forza Horizon 6, Grand Theft Auto V 게임플레이 영상에서 구축합니다. ViPE가 카메라 내부 파라미터·자세·metric depth를 추정하고, Qwen3-VL이 장면의 전역 설명과 셀 수 있는 범주를 만들며, SAM3가 인스턴스 mask·2D box·track ID를 추적합니다. WildDet3D는 RGB, 깊이, 카메라 내부 파라미터와 2D box로 프레임별 3D OBB를 추정하고, 공유 월드 좌표계의 연속 중심 변위에서 개체 이동 방향을 산출합니다.

주요 결과

50개 CombatStateBench 클립에서 Ours는 보이는 생존 캐릭터 수를 비교하는 Count Accuracy 94.00%와 사망 이벤트가 영상에 구현됐는지를 평가하는 State Accuracy 98.00%를 기록했습니다. Count Accuracy는 LingBot-World-V2의 40.75%보다 53.25%포인트, YUME의 32.00%보다 62.00%포인트 높았고, State Accuracy는 각각 8.00%와 58.00%보다 높았습니다. Count Accuracy는 400개 샘플 프레임, State Accuracy는 50개 사망 이벤트에서 이벤트당 전환 후 3프레임을 사용했습니다.

VBench 지표에서도 Ours는 Imaging Quality 67.62, Subject Consistency 94.74, Background Consistency 96.98, Temporal Stability 99.00을 기록했습니다. LingBot-World-V2는 각각 67.46, 81.87, 91.89, 96.85였고 YUME는 64.10, 92.35, 93.63, 98.76이었습니다. 구조화된 제어 신호를 추가했지만 프레임 품질과 시간 안정성을 유지하면서 개체와 배경의 일관성이 높아졌습니다.

정성 결과에서는 정적·동적 카메라 모두에서 사망 이벤트 이후 대상 상태와 남은 개체를 유지했습니다. 반면 prompt switching 기반 비교 방식은 살아 있어야 하는 캐릭터가 사라지거나 사망한 캐릭터가 계속 움직이고, 엔진 이벤트 없이 보이는 개체 수가 변하는 사례가 나타났습니다. 추가 결과에서는 초기 카메라 뒤에 있던 캐릭터의 대각선 회전 후 등장, racing 장면, 사람과 차량의 혼합 장면, 897프레임 동안 점진적으로 진입하는 NPC 시퀀스를 같은 상태 기반 제어로 처리했습니다.

기술 상세

정규 상태는 persistent entities와 3D pose, semantic·functional attributes, 개체 간 relations, executable rules로 구성됩니다. 엔진은 현재 상태와 행동을 입력으로 받아 규칙 검증, 효과 적용, 이벤트 처리를 순서대로 수행하고 갱신 상태를 생성합니다. 이 상태에는 health·inventory·faction처럼 영상에 보이지 않아도 이후 전이를 결정하는 값이 포함됩니다.

각 개체의 OBB는 중심 위치, 크기, 방향, 의미 label과 persistent track ID를 가집니다. identity map은 K개의 learnable identity embedding 중 할당된 슬롯을 투영 영역에 rasterize하며, 학습 샘플마다 슬롯을 무작위로 배정하고 한 시퀀스 안에서는 유지합니다. semantic map은 text encoder가 범주 label에서 만든 embedding을 사용하고, direction map은 월드 속도를 목표 카메라 좌표계로 회전한 후 일곱 상태로 양자화합니다. 따라서 정지한 개체가 카메라 이동 때문에 화면에서 움직여도 direction state는 static으로 남습니다.

세 제어 맵을 결합한 신호는 비디오 latent 해상도로 인코딩되고 ControlNet의 층별 feature가 주 backbone feature에 더해집니다. 고정 창 생성은 초기 관측, 카메라 궤적, 제어 시퀀스를 입력으로 받아 T개 프레임을 출력합니다. 사전 학습 모델은 OBB가 지정하지 않은 shape, texture, material, articulation, illumination과 secondary motion을 보완합니다.

긴 롤아웃에서는 최근·중간·장기 시간 latent를 서로 다른 시공간 해상도로 유지하고 초기 관측도 persistent anchor로 보존합니다. 별도 spatial memory는 완료된 RGB 프레임을 depth와 카메라 파라미터로 월드 공간에 올린 뒤 새 목표 시점으로 재투영합니다. 두 메모리는 현재 청크 생성 전에 이미 완료된 청크만 사용하므로 청크 경계에서 미래 정보를 참조하지 않습니다.

평가에서 Count Accuracy는 샘플 프레임마다 VLM이 센 생존 개체 수와 엔진 기록 수가 같은지 판정합니다. 400개 프레임 중 일치 비율이 Ours의 94.00%가 되며, State Accuracy는 50개 사망 이벤트 중 전환 후 세 프레임에서 사망이 시각적으로 확인된 이벤트의 비율로 98.00%를 얻습니다. 이 지표는 특정 인스턴스의 box 정렬보다 엔진 상태가 RGB 영상에 구현됐는지를 측정합니다.

실무 활용

월드 규칙을 코드로 실행하는 경량 상태 엔진과 생성형 비디오 렌더러를 결합해, 전통적인 3D asset·animation·physics stack 전체를 구축하지 않고도 플레이 가능한 게임형 장면을 만들 수 있습니다. 저장·검증 가능한 상태와 생성 영상 사이의 연결이 핵심이므로 개체 단위 상호작용과 장기 진행이 필요한 프로토타입에 적합합니다.

자연어로 적대 관계, health, 공격 효과, 사망과 목표 조건을 정의하는 전투 게임 프로토타입
초기 카메라 밖에 있는 캐릭터와 차량이 이후 카메라 이동에 따라 등장하는 탐색형 장면
사람·차량 등 여러 의미 범주가 함께 움직이는 racing 또는 혼합 장르 시뮬레이션
시간 이력과 공간 메모리를 활용해 많은 NPC가 순차적으로 진입하는 장기 영상 생성

코드 공개 여부: 공개

코드 저장소 보기

키워드

Programmable World Model(프로그래머블 월드 모델)3D OBB(3D 방향 바운딩 박스)State Compiler(상태 컴파일러)생성형 비디오 렌더링월드 상태 실행 엔진시공간 조건화CombatStateBench(전투 상태 벤치마크)장기 자기회귀 생성

용어 해설

3D 방향 바운딩 박스(3D Oriented Bounding Box (OBB)): — 3D Oriented Bounding Box는 공유된 3D 월드 좌표계에서 개체의 위치, 크기, 방향을 고정된 기하 파라미터로 표현하는 구조입니다. 이 논문에서는 여기에 개체 ID, 의미 범주, 동적 상태를 결합해 시점이 바뀌어도 같은 개체를 추적하고 렌더러에 공간 제약을 전달합니다.
상태 컴파일러(State Compiler): — State Compiler는 엔진이 유지하는 월드 상태와 목표 카메라 궤적을 입력으로 받아 3D OBB를 카메라 시점에 투영하고, ID·의미·이동 방향을 픽셀 정렬 제어 맵으로 변환하는 모듈입니다. 생성형 비디오 모델이 상태를 시각적으로 구현하도록 연결합니다.
생성형 렌더러(Generative Renderer): — Generative Renderer는 구조화된 공간 제어 신호와 시각적 이력을 조건으로 받아 장면의 픽셀 영상을 생성하는 비디오 모델입니다. 명시된 개체 위치와 상태를 따르면서 형태, 질감, 조명, 관절 움직임과 같은 세부 시각 요소를 생성합니다.
시공간 조건화(Spatiotemporal Conditioning): — 시공간 조건화는 개체의 위치와 속성을 한 프레임에만 지정하지 않고 시간에 따른 공간 제어 신호로 전달하는 방식입니다. 이 논문에서는 ID·의미·이동 방향 맵을 카메라 궤적과 함께 사용해 개체의 지속성과 움직임을 여러 비디오 청크에 걸쳐 유지합니다.
청크 자기회귀 렌더링(Chunk-Autoregressive Rendering): — 청크 자기회귀 렌더링은 긴 비디오를 여러 구간으로 나누어 각 구간 내부는 양방향으로 생성하고, 완료된 구간의 시간 이력과 공간 메모리를 다음 구간에 전달하는 방식입니다. 제한된 문맥 창을 보완하면서 긴 상호작용을 이어갑니다.
CombatStateBench 벤치마크(CombatStateBench): — CombatStateBench는 엔진이 기록한 전투 월드 상태와 생성 영상의 일치성을 평가하는 통제형 벤치마크입니다. 50개 클립에서 보이는 생존 캐릭터 수와 사망 상태의 시각적 구현을 측정하며, 카메라·개체 움직임과 초기 시야 밖 개체를 포함합니다.

실행 가능한 상태로 지속되는 생성형 게임 세계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

MiniMax-H3를 행동 가능한 월드 모델로 전환

Code-as-World: 실행 가능한 물리 세계 표현

EchoWM으로 여는 오디오·비디오 세계

MiniPong 게임으로 배우는 World Model 구현 튜토리얼

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

MiniMax-H3를 행동 가능한 월드 모델로 전환

Code-as-World: 실행 가능한 물리 세계 표현

EchoWM으로 여는 오디오·비디오 세계

MiniPong 게임으로 배우는 World Model 구현 튜토리얼

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W