Code-as-World: 실행 가능한 물리 세계 표현

왜 중요한가

기존 vision-language model은 영상 속 객체와 사건을 설명할 수 있지만, 질량·마찰·상태 변화·접촉처럼 사건을 발생시키는 메커니즘을 명시적으로 유지하기 어렵습니다. Code-as-World는 관측을 실행 가능한 세계 가설로 바꾸고 simulator의 상태 궤적과 입력 증거를 반복 비교해 물리적으로 검증 가능한 표현을 구성합니다. 이 표현에서 얻은 정확한 world-space 감독으로 학습한 Code-as-World-VL-9B는 QuantiPhy 평균 MRA 55.4, 27B 추론 모델은 58.6을 기록했습니다.

핵심 기여

구성·변화·외관을 담은 실행 가능한 세계 표현

Code-as-World는 객체와 환경의 기하·물리 속성을 담는 Physical Composition, 초기 상태와 사건을 담는 Dynamic Evolution, 카메라·재질·조명을 담는 Visual Appearance를 하나의 실행 가능한 표현으로 구성합니다. 각 요소를 독립적으로 수정하고 simulator에서 실행할 수 있어 단순한 픽셀 재현보다 물리 상태와 인과적 변화를 직접 다룰 수 있습니다.

증거 검증을 포함한 Agentic Discovery Loop

텍스트에서는 엔티티·공간 관계·물리 사건을 추출하고, 영상에서는 depth map·instance mask·object track을 얻어 같은 EWR 공간에 입력합니다. Agent는 가설을 제안한 뒤 simulator용 파라미터로 변환하고 실행·렌더링·검증을 반복하며, 프레임 오차를 다음 수정 단계의 피드백으로 사용합니다.

검증된 세계에서 생성한 물리 감독

EWR의 객체 geometry와 상태 궤적에서 크기·변위·속도·가속도에 대한 world-space 정답을 직접 생성합니다. 텍스트 기반 세계는 수치적으로 정확한 상태를 제공하고 영상 기반 세계는 실제 영상의 외관·움직임 분포를 반영하므로, 두 자료를 결합해 VLM의 정량적 물리 추론을 학습합니다.

QuantiPhy에서의 모델 규모 확장

Code-as-World-VL-4B, 9B, 27B 모델을 비교한 결과 평균 MRA가 각각 50.6, 55.4, 58.6으로 증가했습니다. 9B 모델은 직접 응답 모델 중 가장 높은 평균 점수를 기록했고, 27B 추론 모델은 평가한 proprietary model과 9B 모델을 모두 앞섰습니다.

핵심 아이디어 이해하기

영상 생성 모델은 과거 프레임에서 미래 픽셀을 예측하며 시각적으로 자연스러운 결과를 만들 수 있지만, 같은 변화가 카메라 이동인지 객체 이동인지, 가려진 객체가 사라진 것인지 잠시 보이지 않는 것인지 구분하지 않아도 됩니다. 따라서 픽셀 예측만으로는 객체의 지속적 정체성, 물리 상태 전이, 접촉과 충돌의 원인을 명시적으로 보존하기 어렵습니다.

3D reconstruction은 geometry와 viewpoint를 복원해 공간 구조를 보존하지만, 복원된 형상이 왜 지지대가 제거된 뒤 낙하하는지 또는 다른 객체와 어떤 힘으로 상호작용하는지까지 설명하지는 않습니다. 자연어는 엔티티·행동·의미 관계를 압축하지만 연속적인 궤적, 정밀한 geometry, 질량과 마찰 같은 수치 상태를 적은 토큰으로 표현하기 어렵습니다. Code-as-World는 이 세 표현의 빈틈을 채우기 위해 의미 정보는 코드의 구조로, 물리 상태와 변화는 실행 연산으로, 시각적 세부 사항은 렌더링 설정으로 분리합니다.

EWR은 $p=(𝒞,ℰ,𝒜)$ 로 구성됩니다. 𝒞는 객체·geometry·질량·마찰·중력·환경 구조를, ℰ는 초기 상태·시간 변화·사건·simulation duration을, 𝒜는 camera·background·material·lighting·frame rate·resolution을 뜻합니다. 이 입력을 simulator용 파라미터 θ로 컴파일하면 실행 결과 τ가 객체 상태, 접촉, 충돌, 속도 변화, 종료 조건을 포함한 시간 궤적으로 출력됩니다.

관측만으로 정확한 세계를 복원하기 어려우므로 Agentic Discovery Loop는 한 번의 예측 대신 가설 탐색을 수행합니다. Agent가 증거에 맞는 EWR을 제안하고, simulator에서 실행한 뒤 렌더링·투영 결과를 원래 텍스트 또는 영상과 비교합니다. 차이 Δ가 크면 관련 구성 요소를 수정하고 다시 실행하며, 충분히 설명력이 높고 간결한 가설을 수용하거나 iteration budget K를 모두 사용하면 거부합니다. 이 과정은 보이는 사건의 설명을 넘어 다른 초기 조건이나 카메라에서도 결과를 계산할 수 있는 물리 구조를 남깁니다.

관련 Figure

Diagram
상단은 픽셀이 풍부한 세부 묘사를 제공하지만 구조가 없고, 3D 표현은 기하 구조를 담지만 물리 메커니즘이 없으며, 언어는 압축적인 의미를 담지만 연속 상태를 표현하기 어렵다는 대비를 나타냅니다. 하단의 Code as World는 객체·물리 속성·상태 변화·외관을 코드와 simulator로 연결해 구조·연속성·의미·물리 메커니즘을 함께 취급합니다.
픽셀·3D reconstruction·언어 표현의 장점과 한계를 Code-as-World의 실행 가능한 코드 표현과 비교한 개념도입니다.

방법론

Code-as-World의 EWR은 Physical Composition 𝒞, Dynamic Evolution ℰ, Visual Appearance 𝒜의 세 부분으로 구성됩니다. 𝒞에는 객체의 geometry·metric dimensions·mass·friction·gravity와 바닥·테이블·벽 같은 충돌 환경이 들어가며, ℰ에는 초기 상태·시간 변화·주요 사건·simulation duration이 들어갑니다. 𝒜는 camera parameters, background, materials, lighting, output frame rate와 resolution을 지정하며 물리 과정 자체가 아니라 관측 방식을 결정합니다.

텍스트 입력 ξ는 LLM 기반 adapter가 엔티티, 공간 관계, physical event, intended outcome을 semantic evidence η로 변환합니다. 텍스트가 geometry나 물리 파라미터를 충분히 결정하지 못하면 physical prior와 기본 조건으로 초기 가설을 만들고, semantic·physical constraint를 이용해 수정합니다. 이후 video generation model이 물리 궤적을 유지한 채 객체·재질·배경·조명을 보강해 sim-to-real 영상을 만듭니다.

실제 영상 입력은 Depth로 depth map D, Segment로 instance mask M, Track으로 image-plane track Q를 얻어 η=(ξ,D,M,Q)로 묶습니다. 각 segmented object에는 SAM3D가 생성한 mesh를 연결하고, depth·mask·track을 함께 사용해 위치·scale·dynamic state를 복원합니다. 후보 EWR을 실행한 뒤 입력 시점으로 다시 투영하고 RGB, depth, mask, trajectory의 일치도를 key frame에서 비교합니다.

각 반복에서 Agent는 현재 가설과 피드백 Δ를 이용해 p를 수정하고, CompileEWR(p)가 simulator-ready parameter θ를 만듭니다. RunSimulation(θ)는 상태 궤적 τ를 출력하고, Render와 Project는 예측 영상 및 depth·mask·trajectory를 생성합니다. 텍스트에서는 semantic·physical constraint를 중심으로, 영상에서는 RGB·depth·mask·trajectory를 함께 비교해 다음 수정 신호를 만듭니다. 평가에서는 최대 K=5회 반복을 사용하며 one-shot과 동일 예산의 Best-of-5 sampling을 비교합니다.

물리 추론 학습은 두 단계입니다. 먼저 RefCOCO 계열과 GOT-10K의 bounding box·mask·track에서 픽셀 단위 크기·위치·변위·속도·가속도 문답을 만들고 supervised fine-tuning으로 image-space 측정을 익힙니다. 궤적 중심 c_t에서 변위는 $d=c_{t_2}-c_{t_1}$ , 속도는 $v_t=(c_{t+1}-c_{t-1})/(2Δt)$ , 가속도는 $a_t=(c_{t+1}-2c_t+c_{t-1})/Δt^2$ 로 계산합니다. 여기서 c_t는 시점 t의 중심, Δt는 샘플 간 시간 간격이며, 입력 궤적에서 차분을 수행해 운동량을 출력합니다.

다음 단계에서는 EWR의 geometry와 상태 궤적에서 world-space 정답을 직접 만들고 GRPO로 학습합니다. 알려진 기준값 ρ와 해당 픽셀 측정값 ρpix가 있으면 상대 scale은 $γ=ρ/ρpix$ , 목표 픽셀 측정값 ypix의 world-space 값은 $y=γypix$ 입니다. 예를 들어 기준 물체의 실제 지름과 영상 속 지름을 나누면 픽셀 이동량이 미터 또는 센티미터 단위 이동량으로 변환됩니다. 수치 보상은 $r_{num}=exp(-|ŷ-y|/(|y|+ε))$ 이며, 여기에 단위 보상과 형식 보상을 더해 수치 오차가 작고 단위·응답 형식이 맞는 후보를 우대합니다.

관련 Figure

Diagram
왼쪽 표현은 objects, motions, renderings를 composition·evolution·appearance 코드로 묶습니다. 가운데 loop는 propose, instantiate, execute, render, verify를 반복하고, 오른쪽은 텍스트의 semantic evidence와 실제 영상의 RGB·depth·instance·track evidence를 같은 세계 표현으로 연결합니다.
실행 가능한 세계 표현과 Agentic Discovery Loop가 텍스트·영상 증거를 처리하는 전체 파이프라인입니다.

Screenshot
왼쪽은 단순화된 simulator 장면이고 오른쪽은 video generation model이 생성한 현실적인 프레임입니다. 각 prompt의 객체와 사건 순서를 유지하면서 재질·배경·조명이 풍부해지는 과정을 나타내며, text-driven executable world의 sim-to-real 활용을 뒷받침합니다.
텍스트 prompt에서 생성한 simulated rendering과 generated real frame을 당구공, 창고, 도미노, 기차, 소포, 그네 사례로 비교합니다.

Screenshot
왼쪽의 real video는 줄 당기기, 도미노, 컵과 접시, 망치, 차량, 공, 구슬 등의 시간 변화를 담고 오른쪽은 이를 단순화한 simulation으로 재현합니다. 객체 위치와 운동 순서를 보존한 상태에서 외관을 구조적 물리 장면으로 추상화하는 video-driven world abstraction을 나타냅니다.
실제 영상 입력과 그 영상에서 복원한 abstracted simulation을 여러 물리 사건별로 비교합니다.

주요 결과

Agentic Discovery Loop는 K=5의 동일 평가 예산에서 독립적인 Best-of-5 sampling보다 Visual Alignment, Object IoU, Traj-ADE, Accuracy@2%D 대부분에서 높은 결과를 기록했습니다. Traj-ADE는 프레임 대각선 D로 정규화한 객체 위치 오차, Velocity-ADE는 정규화된 프레임 간 변위 오차이며, Accuracy@2%D는 오차가 0.02D 이내인 관측 비율입니다. 반복 수정은 정적 시각 품질과 다수의 운동 충실도 지표를 함께 개선했습니다.

QuantiPhy-validation 평균 MRA는 Code-as-World-VL-4B 50.6, Code-as-World-VL-9B 55.4, Code-as-World-VL-27B (Reasoning) 58.6입니다. 9B 모델은 Gemini-3.1 Flash의 54.8보다 높았고, 27B 모델은 평가된 proprietary model 중 최고인 Gemini-3.1 Flash와 direct-answer 9B 모델을 모두 앞섰습니다. 4B·9B·27B의 파라미터 규모와 응답 방식이 동시에 달라졌으므로, 27B 결과는 reasoning 자체의 단독 효과가 아니라 더 큰 reasoning 모델로의 확장 가능성을 나타내는 결과로 해석됩니다.

세부적으로 Code-as-World-VL-9B는 2S 55.0, 2D 52.9, 3S 55.6, 3D 58.1을 기록했고, 27B Reasoning은 각각 48.7, 62.4, 60.5, 62.8을 기록했습니다. Figure 9의 자전거 사례에서는 카메라와의 거리가 0.58초에 23.5534m, 1.58초에 23.2262m로 주어졌을 때 모델이 평균 속도를 6m/s로 예측했고 정답 5.33m/s에 대해 MRA 0.8을 얻었습니다. 당구공 사례에서는 지름 57.2mm와 영상 내 이동량을 이용해 26.8cm/s를 예측했으며, 정답 26.82cm/s와 MRA 1.0을 기록했습니다.

정성 결과에서는 텍스트 설명에서 실행 가능한 simulation과 현실적인 영상을 만들고, 실제 영상에서는 장면 구성·객체 운동·물리적 상호작용에 맞는 executable world를 복원했습니다. 복원된 세계는 초기 속도 방향이나 camera configuration을 바꾼 뒤 다시 실행할 수 있어, 동일한 물리 과정의 다른 궤적과 시점을 생성합니다.

관련 Figure

Chart
각 행은 bowling ball의 초기 방향이나 camera configuration을 바꾼 뒤 시뮬레이션과 현실적인 프레임을 나란히 배치합니다. 물리 궤적과 시간 정렬은 유지하면서 시점과 외관을 바꿀 수 있어, 세계 구조와 appearance synthesis를 분리하는 설계를 나타냅니다.
당구, 교차로, 차량 시점 등에서 수정된 simulation rollout과 현실적인 생성 프레임을 시간 순서로 비교한 사례입니다.

Screenshot
여러 시점의 화면에 차량과 자전거가 배치되어 있으며, 서로 다른 view에서 객체 운동을 추적하는 구성을 나타냅니다. 이런 시간별 위치와 카메라·깊이 정보를 이용해 단안 영상의 이동량을 실제 속도로 보정하는 reasoning 사례와 연결됩니다.
교차로 장면에서 시간에 따른 차량과 자전거의 위치 변화를 simulator 렌더링과 실제 프레임으로 비교한 사례입니다.

Screenshot
프레임마다 차량·자전거의 위치가 달라지고, 장면의 거리와 시점이 함께 변합니다. 시간 간격에 따른 영상 위치 변화와 기준 거리 정보를 결합해 평균 속도 같은 수치를 산출하는 Code-as-World-VL의 측정·보정 흐름을 시각적으로 나타냅니다.
교차로에서 차량과 자전거의 서로 다른 시점별 장면을 통해 물리적 이동을 추론하는 추가 사례입니다.

기술 상세

EWR은 물리 구조와 관측 외관을 분리합니다. 객체·바닥·벽처럼 support·contact·collision에 참여하는 요소는 𝒞에 두고, background·lighting·camera처럼 시각적 맥락만 바꾸는 요소는 𝒜에 둡니다. 이렇게 하면 카메라를 바꾸거나 물리 파라미터를 조정해도 나머지 구조를 보존한 채 독립 실행할 수 있습니다.

Video-driven abstraction의 입력 처리는 WISA-80K에서 rigid-body motion 또는 collision-like interaction이 뚜렷한 클립을 고르는 필터로 시작합니다. 카메라 이동·회전이 크거나 객체 움직임이 부족하고, 편집이 심하거나 물리 사건이 끝나지 않은 영상은 제외합니다. SAM3는 instance mask와 image-plane track, VGGT-Omega는 scene depth와 camera geometry, SAM3D는 object geometry를 제공하며, 이 결과가 EWR 후보의 위치·scale·동적 상태 제약으로 사용됩니다.

반복 검증은 독립된 외부 지표와 분리되어 있습니다. Verifier는 key frame의 예측 증거와 입력 증거를 비교해 Δ를 만들고, 최종 평가는 Visual Alignment, Object IoU, Traj-ADE, Velocity-ADE, Accuracy@2%D를 계산합니다. 거리 정규화에 frame diagonal D를 사용하므로 서로 다른 해상도의 영상에서 위치 오차를 비교할 수 있습니다.

QuantiPhy의 world-space 보정은 목표량과 기준량을 같은 영상에서 측정하는 방식입니다. 기준 실제값 ρ와 픽셀값 ρpix로 $γ=ρ/ρpix$ 를 계산하고, 목표 픽셀량 ypix에 γ를 곱해 y를 얻습니다. 예를 들어 57.2mm인 당구공이 영상에서 약 53픽셀이고 목표 이동량이 약 248픽셀이면, 기준 지름으로 국소 픽셀-실제 단위 비율을 얻은 뒤 이동량을 실제 속도로 환산합니다. 기준값이 바뀌면 γ가 바뀌어 동일한 픽셀 이동도 다른 world-space 수치가 됩니다.

학습 데이터는 image-space와 world-space로 나뉩니다. RefCOCO, RefCOCO+, RefCOCOg, RefCLEF는 객체 extent와 bounding-box 좌표를, GOT-10K는 밀집 track에서 extent·velocity·acceleration을 제공합니다. EWR 기반 데이터는 텍스트-driven과 video-driven 세계에서 동기화된 영상, physical state, world-level VQA를 생성합니다. 4B와 9B는 8개의 NVIDIA H100 GPU에서 두 단계 curriculum으로 학습하며, 모든 변형 모델은 영상마다 시간 순서가 있는 16개 프레임을 균일하게 샘플링합니다.

수치 보상은 상대 오차에 지수 감쇠를 적용합니다. 정답 y와 예측 ŷ가 같으면 $r_{num}=1$ 에 가까워지고, 오차 $|ŷ-y|$ 가 커질수록 보상이 감소합니다. ε는 y가 0에 가까울 때 분모가 0이 되는 문제를 피하는 작은 값이며, 최종 보상은 수치 정확도에 단위 보상 $λ_u r_{unit}$ 과 형식 보상 $λ_f r_{fmt}$ 를 더한 값입니다.

관련 Figure

Infographic
각 패널은 공의 지름, 보행 속도, 테니스공 속도, 요가공과 축구공 속도처럼 알려진 prior와 영상 관측을 함께 제공합니다. 모델은 픽셀 또는 깊이 단서에서 world-space 수치를 계산해야 하므로, 단순한 사건 분류가 아니라 metric calibration이 필요한 과제를 나타냅니다.
2D·3D 장면과 static·dynamic prior를 조합해 실제 물리량을 묻는 QuantiPhy 질문 예시입니다.

한계점

현재 simulator는 실제 환경의 모든 물리 조건을 충실히 재현하지 못합니다. 지형의 작은 차이, 접촉 geometry, 재질 속성 또는 관측되지 않은 요인이 rigid-body motion에도 영향을 주므로, simulator의 범위를 벗어난 과정에서는 loop가 물리적으로 정확하지 않은 locally plausible EWR에 수렴할 수 있습니다. 또한 QuantiPhy는 제한된 운동 조건에서 단안 scale calibration과 크기·변위·속도·가속도에 집중하므로 카메라 운동, 변형, 가림, 유체, 마찰, 장기 다중 객체 상호작용을 충분히 평가하지 않습니다. Code-as-World-VL은 현재 Agentic Discovery Loop 자체가 아니라 loop가 만든 결과로 학습하며, 가설 구성·simulation·진단·반복 수정은 모델 외부에 남아 있습니다.

실무 활용

Code-as-World는 영상이나 텍스트에서 객체 상태와 물리 궤적을 복원한 뒤, 검증된 simulation을 물리 추론 학습 자료로 변환하는 연구용 파이프라인입니다. 특히 실제 영상에 부족한 world-space 크기·변위·속도·가속도 정답을 자동으로 만들고, 실행 코드의 조건을 바꿔 counterfactual 영상을 생성하는 용도에 적합합니다.

단안 영상에서 기준 물체의 크기를 이용해 객체의 실제 크기·변위·속도·가속도를 추정하는 VLM 학습
텍스트 설명을 simulator-ready world로 변환한 뒤 물리 궤적을 유지하는 현실적인 영상 데이터 생성
실제 영상의 depth·instance mask·track을 이용한 3D 장면 및 물리 상호작용 복원
초기 속도, 물리량, 카메라 시점을 수정해 counterfactual rollout과 검증용 영상을 생성
검증된 상태 궤적을 활용한 수치형 물리 VQA 및 단위·응답 형식 보상 학습

코드 공개 여부: 공개

코드 저장소 보기

키워드

Code-as-World(실행 가능한 물리 세계 표현)Agentic Discovery Loop(에이전트 기반 세계 탐색 루프)Executable World Representation(실행 가능한 세계 표현)정량적 물리 추론Vision-Language Model(비전-언어 모델)QuantiPhy(정량적 물리 추론 벤치마크)

용어 해설

실행 가능한 세계 표현(Executable World Representation): — 물리적 세계의 구성, 시간에 따른 변화, 시각적 외관을 코드 구조로 묶은 표현입니다. 객체·질량·마찰 같은 물리 속성과 초기 상태·사건·카메라 조건을 명시하고, 이를 simulator에서 실행해 상태 궤적과 관측 영상을 생성합니다. 관측과 물리 메커니즘을 연결해 수정·검증·데이터 생성에 활용하는 것이 핵심입니다.
귀추적 추론(Abductive Reasoning): — 불완전하거나 잡음이 있는 관측을 가장 잘 설명하는 가설을 찾는 추론 방식입니다. Code-as-World에서는 텍스트나 영상에서 얻은 제약을 바탕으로 세계 가설을 만들고, simulator 실행 결과와 입력 증거를 비교한 뒤 오차를 줄이는 방향으로 가설을 수정합니다.
시뮬레이션-현실 전이(Sim-to-Real): — 시뮬레이션에서 생성한 구조적 상태와 움직임을 실제 영상과 유사한 외관으로 옮기는 과정입니다. 이 논문에서는 executable world의 물리 궤적을 유지하면서 video generation model이 객체, 재질, 배경, 조명을 보강해 현실적인 영상을 생성합니다.
단안 영상(Monocular Video): — 한 대의 카메라에서 얻은 영상으로, 픽셀 관측만으로는 실제 세계의 크기나 속도 단위를 직접 알기 어렵습니다. QuantiPhy 과제에서는 알려진 기준 물리량을 픽셀 측정값과 비교해 상대 스케일을 구하고, 객체의 크기·변위·속도·가속도를 world-space 단위로 환산합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization): — 여러 후보 응답의 상대적 보상을 이용해 모델 정책을 조정하는 강화학습 방법입니다. 이 논문에서는 executable world에서 얻은 정답과 모델 예측의 상대 오차를 수치 보상으로 계산하고, 단위와 응답 형식 보상을 더해 Code-as-World-VL을 학습합니다.

Code-as-World: 실행 가능한 물리 세계 표현

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

MiniPong 게임으로 배우는 World Model 구현 튜토리얼

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

MiniPong 게임으로 배우는 World Model 구현 튜토리얼

비디오 생성 모델의 확률적 정렬 평가를 위한 PAWBench 및 PAWEval 구축.

상황별 하위 에이전트로 세계 모델을 평가하는 HarnessEval-W