PhiZero: 물리 언어 기반 비디오 월드 모델

왜 중요한가

대다수 비디오 월드 모델은 픽셀 공간에서 직접 미래 영상을 예측하면서 동역학을 암묵적으로 학습하므로 물리적 불일치가 발생하기 쉽습니다. PhiZero는 상태 전이를 이산 물리 언어로 추상화하고 추론 단계에서 이 토큰 시퀀스를 생성한 뒤에야 비디오를 렌더링하는 파이프라인을 사용해 동역학을 명시적으로 다룹니다. 이 분리는 물리적 결과의 타당성을 개선하고, 외형이 다른 장면으로의 전이 재사용이나 제로샷 크로스-엠바디먼트 전이 같은 응용을 가능하게 합니다.

핵심 기여

물리 언어라는 이산 전이 표현 제안

무라벨의 인-더-와일드 비디오에서 자기지도 방식으로 학습한 이산 표현을 도입했습니다. 전이만을 압축하도록 설계된 토크나이저가 Q-Former와 FSQ를 결합해 시간적 전이 패턴을 256개의 심볼로 표현하며, 이로써 외형 정보와 전이를 분리하는 인터페이스를 확보합니다. 이렇게 얻은 표현은 다양한 장면과 조작 조건에서 전이 정보를 재사용하거나 다른 외형에 재적용하는 데 활용됩니다.

추론-후-렌더(Reason-then-Render) 아키텍처 설계

PhiZero는 먼저 Physical Language Reasoner가 물리 언어 시퀀스를 예측하고 그 결과를 pretrained diffusion decoder가 영상으로 복원하는 구조를 채택했습니다. Reasoner는 시각-텍스트 사전학습 모델(Qwen3-VL-4B 초기화)을 확장해 FSQ 어휘로 autoregressive 학습을 수행하며, 디코더는 Wan2.2-5B 초기화 모델을 물리 언어 조건으로 재사용합니다. 이 분업은 동역학 추론과 픽셀 합성의 역할을 분리하여 물리적 일관성을 높입니다.

대규모 데이터 커리큘럼과 두단계 학습 파이프라인

50K 시간 규모의 인-더-와일드 풀에서 중복·품질 필터링을 거쳐 토크나이저용 10K 시간, SFT용 5M 클립, 물리적 모션이 풍부한 1M 클립을 단계적으로 구성했습니다. 토크나이저는 해상도·시간 길이 커리큘럼(1s→2s→4s, 256×448→512×896)으로 예비학습과 SFT를 거치며, 리즈너는 먼저 5M 클립으로 계속학습을 하고 1M 모션리치 데이터로 SFT를 수행합니다. 시뮬레이터 샘플을 포함한 단계적 데이터 배합이 물리적 예측 성능 향상에 기여했습니다.

광범위한 벤치마크에서의 물리적 성능 입증

Physics-IQ Verified, PhyGround, WorldModelBench, IntPhys2 등 여러 생성 및 이해 벤치마크에서 비교 실험을 수행했습니다. Physics-IQ Verified에서 IQ-Score 41.2를 기록했고 PhyGround의 Overall은 2.97, WorldModelBench의 Total은 8.19로 보고서에 제시된 모델들 중 상위 성능을 보였습니다. 또한 재현성 있는 정성 결과와 전이 실험으로 물리적 일관성 및 외형 분리 특성을 보여주었습니다.

핵심 아이디어 이해하기

픽셀 공간에서 직접 예측하는 기존 비디오 모델은 시각적 세부와 동역학 정보를 한꺼번에 학습하므로 동적 결과의 물리적 일관성이 떨어질 수 있습니다. PhiZero는 인접 프레임 간 전이 특징을 Q-Former로 추출하고 FSQ로 이산화된 물리 언어로 압축함으로써 시간적 변화 패턴만을 표현 공간에 담습니다. 추론기는 이 물리 언어를 조건으로 미래 전이 시퀀스를 생성하고, 사전학습된 확산 디코더가 첫 프레임과 물리 언어를 받아 사실적 영상을 복원하도록 하여 동역학 추론을 명시적이고 재사용 가능한 형태로 분리합니다.

방법론

입력으로 첫 프레임 I0와 텍스트 의도 c, 그리고 학습용 영상 V를 사용합니다. 토크나이저는 영상의 잠복 표현을 얻은 뒤 인접 쌍마다 Q-Former로 전이 특징 q_i를 추출하고 Proj_down→FSQ로 이산 시퀀스 z를 생성하여 물리 언어로 만듭니다. 디코더는 Wan2.2-5B 기반의 flow-matching 확산기이며 I0와 물리 언어를 조건으로 영상 복원을 수행하고, 리즈너는 Qwen3-VL-4B 초기화 모델을 FSQ 어휘로 autoregressive 학습해 p_theta(z | I0, c)를 예측합니다. 학습은 토크나이저 사전학습→토크나이저 SFT+디코더 LoRA 파인튜닝→리즈너 계속학습→리즈너 SFT의 순서로 진행되며 데이터 필터링과 커리큘럼이 병행됩니다.

주요 결과

Physics-IQ Verified에서 PhiZero는 IQ-Score 41.2로 제시된 비교군 중 최고 성능을 기록했고 S-IoU 58.2, ST-IoU 36.8를 보고했습니다. PhyGround에서는 Physics Score 3.01, Overall 2.97를 얻어 물리 법칙 준수 측면에서 경쟁 모델과 동등하거나 우수한 결과를 보였고 WorldModelBench Total은 8.19로 상위권에 위치했습니다. 이해 벤치마크 IntPhys2 전체 점수 56.34 등 로그우도 기반의 판별 실험에서도 물리적 불일치를 식별하는 능력을 입증했습니다.

기술 상세

토크나이저의 인코더는 Wan2.2 VAE 인코더 아키텍처를 초기화로 사용하고 transition-level Q-Former에 32개의 학습 쿼리를 적용했습니다. FSQ는 스칼라 양자화 레벨 (8,5,5,5,5,5)을 사용해 약 25K 심볼 어휘를 구성하며 33프레임 입력에서 9개의 잠복 상태를 얻어 (9-1)×32=256 길이의 물리 언어 시퀀스를 생성합니다. 디코더는 Wan2.2-5B로 초기화하고 LoRA(rank=32)로 미세조정해 사전학습된 생성 사전(prior)을 보존했습니다. 리즈너는 Qwen3-VL-4B 초기화 모델을 확장된 FSQ 어휘로 autoregressive cross-entropy 학습을 수행해 p_theta(z|I0,c)를 학습합니다.

실무 활용

PhiZero의 물리 언어는 상태 전이를 외형과 분리해 표현하기 때문에 외형 편집, 크로스-엠바디먼트 전이, 시뮬레이션→실제 도메인 전이 같은 실용적 작업에 곧바로 적용할 수 있습니다. 리즈너에 조건을 주면 세밀한 액션 신호에 따라 예측된 전이를 생성하고 디코더가 사실적 영상을 합성합니다. 이 특성은 데이터 효율적인 시뮬레이션 데이터 생성과 제어 가능한 월드 모델링에 유용합니다.

시뮬레이터에서 생성한 전이를 현실적 영상으로 변환해 저비용의 상호작용 데이터 세트를 생성하는 시뮬-투-리얼 워크플로우
비디오 기반 데모의 물리적 모션을 다른 로봇 형상으로 제로샷 전이하여 크로스-엠바디먼트 학습 데이터 확보
차량 주행이나 조작 시나리오에서 액션 조건을 받아 세밀한 상태 전이 예측과 인터랙티브 롤아웃을 제공하는 행동-조건형 월드 모델

코드 공개 여부: 공개

코드 저장소 보기

키워드

물리언어(Physical Language)비디오 월드 모델reason-then-renderFSQQ-Former

추가 이미지 분석

Diagram
상단에는 인간의 시각 경험에서 추상 전이를 얻어 언어적 추론으로 연결하는 개념적 모티프가 배치되어 있습니다. 중앙에는 reason-then-render 흐름이 명시되어 있으며 토크나이저, 리즈너, 디코더의 역할 분리가 시각적으로 정리되어 있습니다. 아래쪽에는 물리적 사실성을 유지한 비디오 생성, 정밀 시뮬레이션, 제로샷 모션 전이 같은 응용 사례가 모자이크로 제시되어 아키텍처 설계 의도를 직관적으로 확인할 수 있습니다.
PhiZero의 전체 파이프라인 다이어그램과 대표적 응용을 보여주는 그림.

Diagram
좌측에 50K 시간 인-더-와일드 풀과 1K 시간 시뮬레이션 풀이 표시되고 중앙의 필터 단계들을 통해 10K 시간 토크나이저 예비학습과 5M 클립 SFT, 1M 모션리치 클립이 만들어지는 과정이 시각화되어 있습니다. 각 필터(중복제거, 해상도·기간·장면 전환, 미학·모션 점수, 관찰 가능성 판정 등)가 어떤 데이터 축소를 유도하는지 순차적으로 확인할 수 있습니다. 이 도식은 논문 본문에서 제시한 두단계 학습과 커리큘럼의 데이터 근거를 연결해 줍니다.
대규모 데이터 수집·필터링 파이프라인을 흐름도로 정리한 그림.

Photo
각 열에는 동일한 입력과 텍스트 조건에서 Wan2.2-5B 출력과 PhiZero 출력을 나란히 배치해 물리적 결과 차이를 강조하고 있습니다. PhiZero 쪽 예시는 충돌 후 이동, 유체의 점착성 표현, 그림자 변화 등 물리적 후속 효과를 더 일관되게 재현하는 사례로 구성되어 있습니다. 이 정성 비교는 정량표의 물리적 일관성 지표들과 연계해 모델 설계의 효과를 보완하는 증거를 제공합니다.
입력 이미지·텍스트 프롬프트 대비 Wan2.2-5B와 PhiZero의 정성적 생성 비교 사례 모음.

Chart
왼쪽 상단 범례에서 네 가지 주행 패턴(좌회전, 우회전, 직진, 정지)을 명시하고 각 패턴이 임베딩 공간에서 서로 유의미하게 구분되거나 연속적으로 배열됨을 보여줍니다. 정지 클러스터가 명확히 분리되고 조향 패턴은 연속적 분포를 형성하는 점이 관찰되어 물리 언어가 운동학적 구조를 포착함을 시사합니다. 이 시각화는 물리 언어의 의미 구조화와 도메인 일반화 가능성을 뒷받침합니다.
자율주행 도메인의 전이 임베딩을 PCA+UMAP으로 3D 투영한 시각화.

Chart
네 가지 그리퍼 동작(내림+닫기, 내림+열기, 올림+닫기, 스윕)이 서로 다른 클러스터를 형성하여 전이 표현이 조작 행위별로 분리된 공간 구조를 이뤘음을 보여줍니다. 클러스터 중심과 분산의 상대적 차이는 각 동작의 일관성과 변이성을 반영합니다. 이 결과는 물리 언어가 조작-구체적 전이 패턴을 디스크립터로 확보한다는 근거를 제공합니다.
로봇 조작 도메인의 그리퍼 전이 카테고리를 3D로 투영한 산점도.

Photo
파도, 커피 붓기, 고체 파편 폭발 같은 복잡한 물리 현상의 시간적 전개를 PhiZero가 단계별로 복원한 샘플을 제공하고 있습니다. 각 샘플은 전이의 인과적 결과(충돌·유동·연소 등)와 시각적 디테일을 동시에 보여줘 reason-then-render 설계가 동역학과 외형을 분리해 처리한 결과임을 시각적으로 확인시킵니다. 이는 논문에 보고된 벤치마크 수치와 정성 결과를 연결하는 사례 근거로 기능합니다.
다양한 도메인에서 PhiZero가 생성한 물리적으로 일관된 예시들을 나열한 그림.

용어 해설

물리 언어(physical language): — 영상에서 관찰되는 상태 전이(state transition)를 이산 토큰 시퀀스로 압축한 표현으로, 외형적 appearance가 아니라 시간에 따른 변화 패턴을 주로 인코딩합니다. 토크나이저와 리즈너 사이의 인터페이스 역할을 하여 추론 단계에서 물리적 진화만을 명시적으로 처리하게 합니다. 이 표현은 렌더러(확산 디코더)가 시각적 세부를 복원하도록 분업시키는 설계에 맞춰 학습되었습니다.
추론-후-렌더링 패러다임(reason-then-render): — 현재 프레임과 텍스트 의도를 입력으로 물리 언어 시퀀스를 먼저 생성하고, 그 시퀀스를 조건으로 미리학습된 확산 디코더가 영상을 생성하는 처리 흐름입니다. 상태 전이 추론과 픽셀 합성을 분리하여 동적 구조를 명시적으로 모델링하도록 유도합니다. 이렇게 하면 동역학 추론의 정확도가 픽셀생성의 시각적 품질과 별도로 향상될 가능성이 커집니다.
전이 수준 Q-Former(Transition-level Q-Former): — 인접한 잠복 상태 쌍을 jointly attend하여 시간 구간별 전이 특징을 추출하는 쿼리 기반 모듈입니다. 각 인접 프레임 쌍마다 공유된 M개의 학습 가능 쿼리를 사용해 지역적 시간 유도바이어스를 부여합니다. 이렇게 얻은 전이 특징이 FSQ로 양자화되어 물리 언어 토큰으로 변환됩니다.
Finite Scalar Quantization (FSQ)(FSQ): — 스칼라 양자화 레벨의 카르테시안 곱으로 어휘를 구성하는 무코드북(implicit codebook) 양자화 기법입니다. 특징을 저차원 양자화 공간으로 투영한 뒤 각 스칼라 차원을 독립적으로 양자화하여 이산 심볼을 생성합니다. PhiZero에서는 (8,5,5,5,5,5) 레벨 설정을 사용해 약 25K 심볼 어휘를 얻었습니다.
순수 잡음 워밍업(Pure-noise Warm-up): — 디코더가 도입된 물리 언어 컨텍스트를 무시하고 사전학습된 복원 기능에 의존하는 것을 방지하기 위한 초기 학습 단계입니다. 미래 프레임 잠복 표현을 순수 가우시안 노이즈로 초기화하여 디코더가 반드시 물리 언어와 첫 프레임에 의존해 복원을 수행하도록 만듭니다. 이후 표준 flow-matching 노이즈 스케줄로 되돌려 추가 학습을 진행합니다.