World-R1: 텍스트-비디오 생성을 위한 3D 제약 조건 강화

기존 비디오 생성 모델은 물리적 법칙에 대한 이해 부족으로 물체가 왜곡되거나 사라지는 기하학적 오류를 자주 범한다. World-R1은 모델 구조 변경 없이 강화학습만으로 비디오의 3D 일관성을 획기적으로 개선하여, 단순한 영상 제작을 넘어 실제 세상을 시뮬레이션하는 월드 모델로의 진화를 가능하게 한다.

기존의 비디오 생성은 주로 2D 픽셀 간의 상관관계를 학습하는 데 집중하며, 이는 Transformer 아키텍처가 시퀀스 데이터의 패턴을 파악하는 방식과 유사하다. 하지만 현실 세계는 3차원 기하학적 구조를 따르기 때문에, 카메라가 움직일 때 물체의 원근감이나 가려짐(Occlusion)이 물리적으로 타당해야 한다. 기존 모델은 이러한 3D 지식이 부족하여 시점이 크게 변할 때 배경이 뒤틀리거나 물체가 변형되는 한계가 있었다.

World-R1은 비디오 모델이 이미 잠재적으로 3D 정보를 인코딩하고 있다는 가설에서 출발한다. 이를 끌어내기 위해 강화학습의 보상(Reward) 시스템을 설계했다. 생성된 비디오를 3D Gaussian Splatting 기법으로 복원해보고, 새로운 시점(Meta-view)에서 렌더링했을 때 구조가 깨지지 않는지 VLM으로 평가한다. 즉, 모델이 '3D적으로 올바른' 영상을 만들 때만 높은 점수를 주어 스스로 물리 법칙을 깨닫게 유도한다.

결과적으로 모델은 단순한 프레임 예측기를 넘어 기하학적으로 일관된 공간을 시뮬레이션하는 능력을 갖추게 된다. 이는 복잡한 수식이나 외부 제어 장치 없이도 모델 내부의 가중치가 3D 제약 조건을 내재화하도록 정렬(Alignment)된 결과이다.

World-R1은 Flow-matching 기반의 비디오 모델을 Flow-GRPO 알고리즘으로 미세 조정한다. 전체 과정은 카메라 궤적 생성, 노이즈 임베딩, 다중 보상 시스템으로 구성된다.

카메라 제어를 위해 텍스트 프롬프트에서 키워드를 추출하여 3D 공간의 외부 행렬(Extrinsic Matrix) E를 생성한다. [입력 프롬프트 → 키워드 매칭 → 변환 행렬 계산 → 3D 궤적 산출] 순으로 계산되며, 이를 2D 광학 흐름(Optical Flow)으로 투영하여 초기 잠재 노이즈를 워핑(Warping)한다. 이는 별도의 네트워크 없이 노이즈 분포만으로 모델에 시점 이동 정보를 전달하는 역할을 한다.

보상 함수 R은 3D 일관성(R3D)과 일반 품질(Rgen)의 가중 합으로 정의된다. R3D는 다시 세 가지 요소로 나뉜다. 첫째, Smeta는 3D Gaussian Splatting으로 복원된 장면을 새로운 각도에서 렌더링하고 Qwen3-VL로 평가하여 기하학적 무결성을 측정한다. 둘째, Srecon은 원본 영상과 재렌더링 영상 간의 LPIPS 거리를 계산한다. [두 영상의 특징 벡터 추출 → 차이값 계산 → 음수화 → 유사도 의미] 순으로 연산되어 시각적 충실도를 보장한다. 셋째, Straj는 의도한 궤적과 실제 생성된 움직임 간의 L2 거리를 계산해 제어 정확도를 높인다.

실험 결과, World-R1은 기존 Wan 2.1 모델 대비 3D 일관성 지표인 PSNR에서 10.23dB, SSIM에서 상당한 개선을 보였다. 특히 복잡한 카메라 움직임이 포함된 장면에서 물체가 사라지거나 배경이 왜곡되는 현상이 크게 줄어들었음이 확인됐다.

VBench를 이용한 일반 비디오 품질 평가에서도 미세 조정 전보다 높은 점수를 기록했다. Aesthetic Quality는 65.74, Imaging Quality는 67.53을 달성하여, 3D 제약 조건을 강화하면서도 모델 본연의 시각적 화질과 생성 능력을 보존하거나 오히려 향상시켰다.

Ablation Study를 통해 Noise Wrapping과 주기적 디커플링 학습의 중요성이 입증됐다. 노이즈 워핑을 제거했을 때 궤적 정렬 성능이 급격히 하락했으며, 주기적 학습이 없을 경우 모델이 정적인 장면에만 과적합되어 역동적인 움직임을 생성하지 못하는 문제가 발생했다.

World-R1의 핵심 아키텍처는 Wan 2.1(1.3B 및 14B)을 기반으로 하며, Flow-GRPO-Fast 알고리즘을 통해 효율적인 온라인 강화학습을 수행한다. GRPO는 Critic 네트워크 없이 그룹 내 상대적 보상을 사용하여 Advantage를 추정하므로 메모리 효율이 높다.

3D 복원을 위해 Depth Anything 3를 활용하여 생성된 비디오에서 깊이 정보를 추출하고 이를 3D Gaussian Splatting(3DGS) 표현체로 변환한다. 이 과정에서 추정된 카메라 궤적 ˆE와 프롬프트의 목표 궤적 E 간의 편차를 줄이는 방향으로 학습이 진행된다.

학습 데이터는 Gemini를 활용해 생성한 3,000개의 순수 텍스트 프롬프트셋을 사용한다. 이는 특정 비디오 데이터셋의 편향에서 벗어나 순수하게 기하학적 법칙만을 학습하기 위함이다. 또한 500개의 고엔트로피 동적 장면 데이터를 별도로 구성하여 주기적 디커플링 학습에 활용함으로써 비강체 역학(Non-rigid dynamics)의 손실을 방지했다.

강화학습을 비디오 생성에 적용하는 데 따르는 높은 계산 비용이 여전히 병목 현상으로 남아 있다. 또한 기본 모델인 Wan 2.1의 생성 능력에 의존하므로, 손가락의 세밀한 움직임이나 매우 긴 시간의 장면 진화와 같이 베이스 모델이 취약한 부분에서는 여전히 한계가 나타날 수 있다.