SolarWM: 장기 비디오 월드 모델을 위한 공개 데이터와 확장형 학습

왜 중요한가

장기 비디오 월드 모델은 데이터셋마다 다른 시간 규모, 카메라 기하, 영상 품질, 움직임, 캡션 형식 때문에 일관된 학습을 구성하기 어렵습니다. SolarWM은 10개 데이터셋의 약 143만 클립을 공통 계약으로 변환하고, 서로 다른 video backbone의 고유 표현과 학습 목적을 유지하면서 동일한 적응·추론 인터페이스를 적용합니다. 그 결과 5초 시퀀스만 학습해도 추가 장기 시퀀스 Fine-tuning 없이 수분에서 수시간의 상호작용 롤아웃을 지원합니다.

핵심 기여

재구성 가능한 다중 소스 데이터 인프라

10개 데이터셋의 약 143만 클립을 표준 표현으로 변환하고 시각 관측, metric camera geometry, 캡션, 품질 메타데이터, 선택 결과, provenance를 함께 보존합니다. 원천 데이터 전처리와 학습 혼합 구성을 분리해 필터 기준, 샘플링 비율, source weight를 바꿔도 비용이 큰 원천 전처리를 반복하지 않습니다.

Backbone-native 적응 프레임워크

Wan2.2, LTX-2.5, MiniMax-H3의 서로 다른 latent 표현, Attention 구조, 조건화 방식을 유지하면서 카메라 조건화와 장기 롤아웃에 필요한 공통 인터페이스만 추가합니다. 이를 통해 5B부터 33B까지 네 모델을 같은 데이터 및 평가 흐름에서 비교할 수 있습니다.

세 단계 학습 레시피

Bidirectional training으로 대부분의 최적화를 수행한 뒤 autoregressive adaptation으로 순차 생성에 맞추고 distribution matching distillation으로 추론 모델을 정제합니다. 이 순서는 복잡한 ODE 또는 consistency-distillation 초기화 없이 장기 생성 모델을 구성하도록 설계되었습니다.

공개 재현 기반

표준 클립, 주석, 중간 기록, 품질 평가, 선택 결과, provenance, 데이터 처리 파이프라인, 학습 레시피, 모델 가중치와 구현을 함께 공개합니다. 연구자는 같은 혼합을 재구성하거나 새로운 데이터와 모델을 추가할 수 있습니다.

핵심 아이디어 이해하기

비디오 월드 모델은 카메라 움직임이나 행동을 조건으로 미래의 시각 관측을 생성합니다. 일반적인 비디오 생성 모델이 짧은 클립의 시각 품질에 집중한다면, 월드 모델은 자신이 만든 프레임을 다음 입력으로 다시 사용해야 하므로 시간이 길어져도 장면의 구조와 움직임을 유지해야 합니다.

기존 다중 소스 학습에서는 데이터셋마다 프레임 간 시간 간격, 카메라 좌표, 영상 품질, 움직임 분포, 캡션 형식이 다릅니다. 이 데이터를 그대로 섞으면 같은 입력 조건이 서로 다른 의미의 감독 신호가 되고, 한 데이터셋에서 잘 작동한 모델이 혼합 학습 뒤 성능을 잃을 수 있습니다. SolarWM은 각 원천 영상을 표준 클립으로 바꾸고 관측 프레임, metric camera geometry, 언어 정보와 품질 정보를 프레임 단위로 맞춥니다.

모델마다 latent 표현과 Attention 구조가 다르므로 하나의 내부 구현을 강제하면 사전 학습 능력이 손상될 수 있습니다. SolarWM은 각 backbone의 native representation과 optimization objective는 유지하고, 카메라 조건 입력과 롤아웃에 필요한 바깥쪽 인터페이스만 통일합니다. 입력은 표준화된 영상·카메라·캡션 묶음이고, backbone 내부 처리를 거쳐 카메라 제어가 가능한 미래 영상이 출력됩니다.

학습은 양방향 영상 학습, 자기회귀 적응, distribution matching distillation 순서로 진행됩니다. 먼저 양방향 학습으로 영상 생성 능력을 확보하고, 자기회귀 적응으로 앞서 생성한 결과를 다음 입력으로 사용하는 상황에 맞춘 뒤, 증류 단계에서 장기 롤아웃에 필요한 인과적 생성 동작을 정리합니다. 논문은 5초 시퀀스만으로 수분에서 수시간의 롤아웃이 가능하다는 결과를 보고합니다.

방법론

SolarWM의 데이터 엔진은 10개 원천 데이터셋에서 약 143만 개의 canonical clip을 만들고, 전체 물리 데이터 규모는 25TB를 넘습니다. 입력 원천은 실제 환경, 합성 환경, 게임 환경을 포함하며, 전처리 과정에서 영상 관측, metric camera geometry, 캡션, 품질 메타데이터, 선택 결정과 provenance를 공통 계약에 맞춥니다. 원천별 계산량이 큰 처리와 학습 mixture 구성은 분리되어, 이후에는 필터 기준·샘플링 비율·source weight만 바꿔 새로운 혼합을 구성할 수 있습니다.

모델 측에서는 서로 다른 video generator에 동일한 내부 구조를 씌우지 않고 backbone-native adaptation을 적용합니다. 카메라 조건화, 최적화 호출, 롤아웃에 필요한 공통 인터페이스만 연결하고 각 모델의 native representation과 optimization objective는 유지합니다. 이 방식으로 SolarWM-wan2.2-5B, SolarWM-wan2.2-14B, SolarWM-ltx-2.5-22B, SolarWM-minimax-h3-33B를 5B부터 33B까지 구성합니다.

학습 레시피는 세 단계입니다. Bidirectional training에서는 과거와 미래 문맥을 함께 활용해 기본 영상 생성 능력을 최적화하고, autoregressive adaptation에서는 앞 단계의 생성 결과를 다음 시점의 입력으로 사용해 순차 생성 오류에 적응합니다. 마지막으로 distribution matching distillation에서는 교사 생성 분포와 학생 모델의 출력 분포 차이를 줄여 장기 롤아웃과 빠른 추론에 맞는 모델을 얻습니다.

추론 시 모델은 카메라 움직임, 플레이어 행동 또는 의미 지시와 현재 시각 관측을 조건으로 다음 영상을 생성합니다. 생성된 영상은 다시 다음 시점의 관측으로 들어가며, 이 입력·생성·재입력 과정이 반복되어 롤아웃이 이어집니다. 학습에는 5초 시퀀스를 사용하지만, 이 순차 구조를 통해 수분에서 수시간 범위의 open-ended rollout을 지원합니다.

주요 결과

네 모델은 5B부터 33B까지의 규모와 서로 다른 video backbone을 사용하면서 state-of-the-art 성능을 달성했다고 보고됩니다. 핵심 결과는 특수한 ODE 또는 consistency-distillation 초기화 없이도 장기 비디오 월드 모델을 학습할 수 있다는 점입니다. 다만 본문에 제시된 발췌에는 개별 벤치마크의 수치가 포함되어 있지 않습니다.

최적화의 대부분은 bidirectional training 단계에서 수행되고, autoregressive adaptation은 빠르게 수렴하며, distribution matching distillation은 더 적은 최적화 단계만 필요합니다. 따라서 세 단계를 동일한 비중으로 길게 학습하기보다 기본 영상 능력을 먼저 확보한 뒤 순차 생성과 추론 정제를 짧게 수행하는 구성이 효율적인 학습 흐름으로 나타납니다.

5초 시퀀스로 학습한 모델은 추가적인 long-sequence Fine-tuning이나 attention-sink mechanism 없이 수분에서 수시간의 open-ended rollout을 지원합니다. 입력 관측과 카메라 조건을 바탕으로 영상을 생성하고, 생성 결과를 다음 입력으로 재사용하는 인과적 과정이 긴 시간 범위까지 이어지는 결과입니다.

기술 상세

데이터 엔진의 핵심 단위는 canonical clip입니다. 각 클립은 프레임 정렬된 visual observation과 metric camera geometry를 중심으로 캡션, 품질 메타데이터, 선택 결과, provenance를 함께 저장합니다. 입력 데이터셋의 시간 규모·카메라 규약·품질 차이를 이 공통 계약으로 맞춘 뒤, 원천 전처리 결과와 학습 혼합 결정을 분리해 동일한 처리 결과에서 여러 mixture를 재구성합니다.

Backbone-native adaptation은 표현 공간이나 최적화 목적을 하나로 통합하지 않습니다. Wan2.2, LTX-2.5, MiniMax-H3가 가진 native representation과 architecture를 유지하고, 공통적으로 필요한 camera conditioning, training, inference, rollout 인터페이스만 연결합니다. 따라서 하나의 데이터 레시피와 학습 절차를 여러 backbone에 적용하면서도 각 backbone의 사전 학습 능력을 직접 보존하는 구조입니다.

세 단계 학습에서 bidirectional training은 기본 생성 모델이 양방향 문맥을 활용하도록 최적화하는 출발점입니다. autoregressive adaptation은 실제 롤아웃처럼 이전에 생성한 결과를 다음 조건으로 넣어 순차 오류가 누적되는 입력 분포를 학습합니다. 이어지는 distribution matching distillation은 교사 모델이 만드는 출력 분포와 학생 모델의 생성 분포를 맞추며, 논문은 이 단계가 더 적은 최적화 단계로 수행된다고 보고합니다.

추론은 현재 관측과 카메라 움직임·행동·언어 조건을 받아 다음 영상 구간을 생성하는 방식입니다. 출력 영상은 다음 단계의 관측으로 재사용되고, 이 autoregressive loop가 반복되면서 장기 롤아웃을 구성합니다. 논문은 5초 시퀀스 학습만으로 수분에서 수시간까지 확장되는 결과와, 별도의 장기 시퀀스 Fine-tuning 및 attention-sink mechanism이 필요하지 않다는 결과를 제시합니다.

공개 범위에는 143만 개 canonical clip, 10개 데이터셋의 주석·메타데이터·중간 기록·품질 평가·선택 결정·provenance, end-to-end 데이터 처리 파이프라인, 학습 레시피, 모델 가중치, bidirectional training·AR adaptation·rollout·DMD 구현이 포함됩니다. 이 구성은 데이터 혼합 변경, backbone 간 통제 비교, 새 데이터와 모델의 확장을 같은 기반에서 수행하도록 합니다.

실무 활용

SolarWM은 데이터 전처리부터 모델 학습과 장기 추론까지 공개하는 재현 가능한 기반입니다. 공개된 표준 클립과 파이프라인을 활용하면 여러 데이터 혼합 정책과 video backbone을 같은 조건에서 비교하고, 새로운 데이터나 모델을 기존 흐름에 연결할 수 있습니다.

10개 데이터셋의 표준 클립과 provenance를 이용한 interactive video world model 학습
필터 기준, 샘플링 비율, source weight를 변경한 대체 학습 mixture 구성
Wan2.2, LTX-2.5 등 서로 다른 video backbone의 카메라 제어 및 장기 롤아웃 비교
새로운 데이터셋과 video model을 backbone-native adaptation 인터페이스에 연결

코드 공개 여부: 공개

코드 저장소 보기

키워드

SolarWM(비디오 월드 모델 기반)video world models(비디오 월드 모델)multi-source data engine(다중 소스 데이터 엔진)backbone-native adaptation(backbone 고유 표현 보존 적응)camera-conditioning(카메라 조건화)autoregressive initialization(자기회귀 초기화)distribution matching distillation(분포 일치 증류)causal models(인과 모델)

용어 해설

비디오 월드 모델(Video World Model): — 카메라 움직임, 플레이어 행동, 언어 지시를 입력으로 받아 앞으로의 시각 관측을 생성하는 모델입니다. 짧은 영상 생성을 넘어 상호작용 가능한 환경과 장기 롤아웃을 구성하는 데 사용됩니다.
자기회귀 적응(Autoregressive Adaptation): — 이전 프레임이나 생성 결과를 조건으로 다음 영상을 순차적으로 생성하도록 기존 비디오 생성 모델을 조정하는 단계입니다. 짧은 클립 학습과 장기 롤아웃 사이의 차이를 줄이는 역할을 합니다.
분포 일치 증류(Distribution Matching Distillation): — 학생 모델의 생성 분포가 교사 모델의 분포를 따르도록 학습하는 증류 방식입니다. SolarWM에서는 자기회귀 적응 뒤 적은 최적화 단계로 추론 가능한 인과 모델을 만드는 데 사용됩니다.
카메라 조건화(Camera Conditioning): — 카메라의 움직임과 기하 정보를 비디오 생성 과정에 입력해 시점 변화에 맞는 미래 프레임을 생성하는 방식입니다. 서로 다른 데이터와 backbone에 공통 인터페이스를 제공하는 핵심 요소입니다.
표준 클립(Canonical Clip): — 서로 다른 데이터셋의 영상을 시각 관측, 프레임 정렬, 카메라 기하, 캡션, 품질 메타데이터, 출처 정보가 같은 형식으로 기록된 학습 단위로 변환한 클립입니다.
장기 롤아웃(Long-Horizon Rollout): — 모델이 이전에 생성한 영상과 새로운 카메라 조건을 다시 입력으로 사용하면서 미래 영상을 계속 생성하는 과정입니다. SolarWM은 5초 시퀀스 학습만으로 수분에서 수시간 범위의 롤아웃을 지원합니다.

SolarWM: 장기 비디오 월드 모델을 위한 공개 데이터와 확장형 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EchoWM으로 여는 오디오·비디오 세계

훈련전용 비디오 기반 World‑Action 모델 SimWAM

MiniMax-H3를 행동 가능한 월드 모델로 전환

외부 기하 메모리로 끝없는 비디오 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

EchoWM으로 여는 오디오·비디오 세계

훈련전용 비디오 기반 World‑Action 모델 SimWAM

MiniMax-H3를 행동 가능한 월드 모델로 전환

외부 기하 메모리로 끝없는 비디오 생성