DreamForge-World 0.1 Preview 저연산 실시간 제어형 월드 모델

DF-World 0.1 Preview는 소비자 GPU 수준의 계산 자원으로 실시간 제어 가능한 시각적 월드 롤아웃을 실현하려는 운영 지점을 제시한다. 이 프리뷰는 고착된 대규모 월드 시뮬레이터와는 달리 적응 비용을 낮추고 광범위한 상호작용 기능을 단일-GPU에서 달성하는 실험적 경로를 제시한다. 결과적으로 제한된 하드웨어 환경에서 실시간 인터랙티브 비주얼 생성기술을 연구·평가하는 기준점을 제공한다.

세계 모델 인터랙션 문제는 기존의 오프라인 비디오 생성과 달리 생성된 프레임이 다음 예측의 입력으로 되돌아오는 closed-loop 조건에서 발생한다. 이 경우 모델은 자기 생성 컨텍스트의 누적 오류에 민감해지며, 실시간 응답성을 유지하려면 짧은 컨텍스트 윈도우, 캐시 가능한 인과 구조, 그리고 경량 디코딩이 필요하다. 반대로 장기적인 상태 보존은 외부 메모리나 검색 기반 보강을 요구하며 둘 사이에 근본적 트레이드오프가 존재한다. DF-World 0.1 Preview의 출발점은 이 트레이드오프에서 '적은 적응 계산으로 광범위한 상호작용 기능을 제공'하는 쪽이다. 저연산 운영을 위해 LongLive 1과 Wan 계열의 오픈 비디오 프라이어를 재활용하고, 파라미터 전체를 재학습하기보다 저랭크 보정(LoRA)과 residual action pathway 전이를 통해 제어 기능을 추가했다. 이렇게 하면 단기간의 적응으로 소비자 GPU에서 실시간 제어와 멀티모달 초기화를 경험할 수 있다. 이 접근은 세부적으로는 백본 프라이어가 제공하는 cacheable causal structure, short-window attention, frame-sink 같은 런타임 특성을 유지하면서 액션 조건화와 멀티모달 프리픽스 삽입을 결합하는 것이다. 프리픽스 방식은 이미지나 비디오를 latent 역사로 인코딩해 바로 롤아웃을 시작하게 하고, residual action pathway는 라이브 키보드·마우스 입력을 프레임 수준에서 주입해 제어 가능한 동작을 유도한다. 결과적으로 이 방식은 완전한 외부 메모리 기반 시스템보다 낮은 적응 비용으로 첫인상에서는 실시간 상호작용을 달성하지만, 장기 재방문 일관성은 여전히 제한된다.

전체 접근은 오픈 비디오 프라이어를 causal autoregressive 롤아웃 기제로 유지한 채 단계적 적응을 수행하는 것이다. 우선 LongLive/Wan 백본을 rank-64 LoRA로 미세조정해 게임 유사 도메인 분포로 끌어온 뒤, Matrix-Game 2.0 스타일의 액션 모듈 가중치를 전이하고 짧게 미세조정해 제어 경로를 추가했다. 이 파이프라인은 전체 모델 파라미터를 크게 변경하지 않으면서도 상호작용 입력을 수용하도록 백본을 조정했다. 액션 데이터는 수동으로 수집한 제어 레이블을 포함한 5초×24FPS 클립 중심으로 구성되며, 라벨은 연속적 마우스 움직임과 이산적 이동 및 행동 채널(예: jump, sprint, act_1, act_2)을 포함한다. 전이 후 뷰별 불일치를 줄이기 위해 첫인칭과 삼인칭 각각에 대해 별도 고랭크 LoRA를 학습했고, 학습 목적함수로는 x0 MSE와 포즈/트래젝토리 관련 손실이 함께 사용되었다. 추가로 Depth Anything 3을 보조 기하 정보로 활용해 포즈·깊이 감독 신호를 제공했다. 런타임 측면에서는 Wan 기반의 KV recache, short-window attention, frame-sink 구조를 유지하면서 비동기 스트리밍, VAE 디코딩 경량화, KV-cache quantization, 그리고 Deep Forcing 스타일의 무학습 캐시 관리 기법을 통합했다. 디코더 경로로는 기본 Wan2.1 VAE와 더 빠른 LightTAEW 2.1 경로를 비교해 메모리와 스루풋 상의 트레이드오프를 평가했다. 런타임 측정은 end-to-end 경로 기준으로 수행되어 diffusion transformer 실행, action conditioning, VAE 디코딩, 스트리밍 오버헤드를 모두 포함한다.

런타임 측정은 480×832 해상도에서 end-to-end 프리뷰 스루풋으로 보고되었다. 기본 Wan2.1 VAE 경로에서 RTX 4090에 bf16 실행이면 약 10 FPS, fp8 실행이면 약 12 FPS가 관찰되었고 LightTAEW 2.1 경로를 사용할 경우 RTX 4090 fp8에서 14–15 FPS가 보고되었다. H100 상에서도 bf16과 fp8에서 더 높은 FPS가 나왔으며 이는 디코더 경로와 정밀도 선택이 실시간 성능과 VRAM 사용량에 직접적 영향을 미친다는 사실을 보여준다. 적응 규모 측정으로는 프리뷰 전용으로 64시간의 큐레이션된 게임플레이/제어 비디오가 사용되었다. 비교를 위해 Matrix-Game 2.0은 약 1200시간의 상호작용 주석 데이터를, Genie는 보고서상 30,000시간 규모를 보고했다는 참조가 제시되었다. 이 수치는 DF-World가 '적은 적응량'으로 운영지점을 추구했음을 정량적으로 보완한다. 정성적 능력 검토에서는 텍스트·이미지·비디오 혼합 초기화, 라이브 키보드·마우스 제어, 중간 스트림 리프롬프트, 듀얼 뷰(1인칭·3인칭) 지원, 분 단위 상호작용 롤아웃 등이 보고되었다. 다만 장기 일관성·재방문 메모리와 텍스처·색상 열화 같은 자기조건 롤아웃의 품질 저하가 관찰되어 실용적 창작·시뮬레이션 적용에는 추가 개선이 필요함이 확인되었다.

전체 아키텍처는 LongLive 1 기반의 causal autoregressive video transformer를 백본으로 사용하고, 이 위에 rank-64 LoRA와 residual action pathway를 조합하는 구조이다. 백본은 KV recache, short-window attention, frame-sink 같은 스트리밍 친화적 모듈을 유지하며, 적응 단계에서 LoRA는 backbone feature 공간을 도메인에 맞추고 residual action pathway는 프레임 수준 액션 주입을 담당한다. 뷰별 컨트롤은 두 개의 고랭크 LoRA 체크포인트로 구현되어 첫인칭과 삼인칭 간 관측-행동 매핑 차이를 분리한다. 액션 모듈 전이는 Matrix-Game 2.0의 액션 가중치를 가져와 DiT 구조에 이식하는 방식으로 이루어졌다. 전이 후에는 전이 오차를 줄이기 위해 짧은 fine-tuning을 수행했고, 훈련 목적함수로 x0 MSE와 트래젝토리 및 포즈 손실을 결합했다. 데이터 준비 단계에서는 Depth Anything 3를 활용해 보조 깊이/포즈 신호를 생성해 감독을 강화했다. 런타임 구현은 비동기 스트리밍, VAE 디코딩 경량화, KV-cache quantization, Deep Forcing 스타일의 캐시 관리 기법을 포함한다. 두 가지 디코더 경로를 비교해 LightTAEW 2.1이 메모리와 스루풋 측면에서 이점을 제공함이 측정되었고, fp8 실행 경로가 VRAM 사용량을 크게 낮추면서도 프리뷰 품질을 유지할 수 있는 선택지로 제시되었다. 측정은 diffusion transformer 실행부터 VAE 디코딩·스트리밍 오버헤드까지 포함한 end-to-end 경로로 수행되었다.

지속적 공간 메모리의 부재가 프리뷰의 주요 한계로 보고되었다. 사용자가 카메라를 돌려 다른 지역을 본 뒤 다시 돌아올 때 씬 내용이 재합성되어 이전에 보였던 오브젝트가 유지되지 않는 사례가 관찰되었다. 이 때문에 재방문 일관성 측면에서 메모리 보강형 시스템들보다 성능이 열위에 있다. 장기 자기조건 롤아웃에서는 색상 과포화와 텍스처 열화가 발생하며, 시간이 지남에 따라 객체 정체성과 배치 일관성이 저하된다. 일부 프레임에서는 색상 밸런스가 부분적으로 회복되지만 손실된 세부 텍스처는 완전 복원되지 않았다. 이러한 현상은 모델이 자기생성 히스토리의 편향과 누적 오류에 민감함을 보여준다. 제어 측면에서는 키보드·마우스 입력이 궤적에 영향을 주나 액션 다양성과 정밀도는 물리 기반 시뮬레이션보다 제한적이다. 급격한 카메라 동작은 장면 불안정을 유발하며 삼인칭 제어는 첫인칭 네비게이션보다 더 불안정한 경향을 보였다. 프리뷰는 오디오 생성, 다중 에이전트 상호작용, 영속적 객체와의 물리적 상호작용을 포함하지 않으며 레이턴시는 게임 수준의 완전한 반응성에는 도달하지 못했다.