LingBot-World-Infinity: 인과적 사전학습과 증류로 실시간 무한 인터랙티브 월드 생성

왜 중요한가

대형 비디오 생성 모델은 연속적 자기회귀 예측에서 발생하는 오류 누적으로 인해 몇 분 단위로 품질이 저하되는 한계가 있었다. 이 논문은 인과적 사전학습으로 드리프트에 강한 백본을 확보하고 이를 소수 단계의 실시간 생성기(student)로 증류하여 장시간(논문에서는 1시간) 유효한 비주얼 품질을 유지하는 실사용 가능성을 보였다. 실시간 상호작용을 지원하면서도 전투·마법·환경 변화 같은 풍부한 조작어휘를 반영할 수 있다는 점에서 게임 제작과 몰입형 시뮬레이션 분야에 직접적인 응용 가능성이 있다.

관련 Figure

Diagram
그림은 초기 상태 입력과 연속적 사용자 제어(카메라·프롬프트)가 인과 생성 엔진을 통해 여러 상태로 확장되는 구조를 도식화하고 있다. 각 패널은 다양한 장면과 상호작용 유형을 보여주며 시스템의 범용성과 상호작용 스펙트럼을 시각적으로 전달한다. 이 도식은 논문의 전체 목표인 '무한히 확장 가능한 실시간 인터랙티브 월드'라는 개념적 기여와 직접 연결된다.
전체 시스템의 개념적 개요를 보여주는 다중 패널 일러스트로, 초기 배경 이미지와 사용자 입력이 연속 생성 파이프라인으로 들어가 무한히 확장되는 세계가 생성되는 흐름을 나타낸다.

핵심 기여

인과적 사전학습으로 장시간 드리프트 억제 가능한 백본 확보

프레임을 과거 시각 컨텍스트와 현재 입력에만 조건화하는 인과적 생성을 사전학습하여 오류 누적에 강한 백본 모델을 얻었다. 이 백본은 시간 축에서의 인과성 제약과 MoBA(Mixture of Bidirectional and Autoregressive) attention 구조를 결합해 긴 롤아웃 동안에도 선명한 텍스처와 안정된 기하 구조를 유지했다. 백본은 이후 증류의 교사(teacher)로 활용되어 실시간형 학생 모델의 품질 기반을 제공했다.

일관성 증류와 분포 정합 증류를 결합한 실시간 소수 단계 생성기

교사의 다중 단계 확산 궤적을 consistency distillation으로 소수 단계로 압축하여 샘플링 비용을 크게 낮추었다. 추가로 distribution matching distillation(DMD)을 롤아웃 기반으로 적용하여 학생이 자기 예측 분포에서 생성하는 누적 드리프트를 줄였다. 이 복합 증류는 720p, 60fps 실시간 상호작용을 만족하면서도 장기간 품질 저하를 억제하는 결과로 이어졌다.

MoBA attention 마스크와 Plücker 카메라 임베딩을 포함한 상호작용 제어

자기어텐션에 bidirectional 요소를 혼합한 MoBA 마스크로 teacher forcing의 과적합을 완화하고 유연한 길이의 비디오 생성에 대응했다. 카메라 제어는 Plücker 임베딩으로 각 픽셀의 시야 광선을 6차원으로 인코딩하고 AdaLN을 통해 확산 과정에 주입하여 카메라 포즈에 따른 정밀한 제어를 실현했다. 텍스트 프롬프트는 청크 단위로 주입되어 시간-지역적 의미 변화를 모델이 반영하도록 설계되었다.

Director-Pilot 에이전트 하네스와 실시간 인터페이스

Vision-Language Model을 Director로, 비디오 생성기를 Pilot으로 조직하는 co-simulation 프레임워크를 도입하여 고수준 인과 추론과 저수준 물리적 롤아웃을 분업시켰다. Director가 이벤트 제안과 인과적 판단을 수행하면 Pilot이 이를 물리적로직과 시공간 일관성을 갖춘 프레임으로 변환하였다. 이 구조는 객체 추적(SAM) 기반의 정밀 조작과 직관적 키 바인딩 기반의 즉각적 인터랙션을 동시에 가능하게 했다.

핵심 아이디어 이해하기

기존의 자기회귀적 비디오 생성기는 이전에 생성한 프레임을 다음 프레임의 조건으로 사용하면서 작은 오류가 누적되어 장시간에서의 품질 저하(드리프트)가 발생한다는 점이 출발점이다. 이 드리프트 문제는 롤아웃 길이가 길어질수록 기하급수적으로 시각적 왜곡이 커지므로 실시간 상호작용 세계를 구현하려면 근본적인 안정성 개선이 필요했다. 본 연구는 학습 단계에서 인과성 제약을 명시적으로 강제하고 attention 구조를 설계함으로써 드리프트를 구조적으로 억제하려고 했다.

방법론

전체 접근은 두 단계로 구성된다. 첫째, 인과적 조건화를 적용한 사전학습으로 고품질의 causal backbone을 학습했다. 이 단계에서는 각 프레임 x_t가 과거 프레임 x_{<t}과 현재까지의 행동 신호 a_{≤t}에만 의존하도록 우선 인과적 우도(Equation 1)에 따라 최적화했다.

관련 Figure

Diagram
이 그림은 이질적 비디오 소스(에고센트릭·합성·웹)로부터 표준화 메타데이터를 생성하고 VLM 기반 프로파일링으로 후보 클립을 선별한 뒤 다중 트랙 이벤트 주석으로 변환하는 구체적 절차를 명확히 드러낸다. 도식은 특히 청크 단위 로컬 캡션 생성과 기술적·시맨틱 스코어링의 역할을 강조하여 학습 데이터의 시공간적 정렬이 모델의 상호작용성에 어떻게 기여하는지를 연결한다. 이 정보는 학습 데이터 설계가 장기 안정성·컨트롤러블성에 미치는 영향을 이해하는 데 핵심적이다.
데이터 파이프라인을 블록도로 표현한 다이어그램으로 데이터 수집, 프로파일링, 청크 단위 주석의 흐름과 각 단계에서 수행되는 필터링·평가 과정을 보여준다.

Diagram
그림은 상위 수준의 인과 추론과 하위 수준의 물리적 롤아웃을 분리하는 아키텍처적 설계를 시각적으로 요약한다. 이 구조는 복잡한 환경 변화나 객체 조작을 처리할 때 VLM이 제안하는 이벤트를 Pilot이 안정적으로 구현하도록 역할을 분담하는 방식에 기초한다. 다이어그램은 제안된 시스템이 직관적 인터페이스와 결합되어 실시간 상호작용 루프를 닫는 방법을 보여준다.
Director-Pilot co-simulation 프레임워크를 보여주는 다이어그램으로 VLM(Director)이 이벤트를 제안하고 Video Generator(Pilot)가 이를 물리적으로 일관된 프레임 시퀀스로 변환하는 흐름을 나타낸다.

주요 결과

논문에서는 증류된 실시간 모델이 720p 해상도에서 60fps로 동작하며 시간에 따른 시각적 품질 저하가 관찰되지 않는 단일 연속 생성 세션을 1시간 이상 수행했다고 보고했다. 정성적 비교 결과에서 제안 모델은 기존 공개 및 폐쇄형 대안들과 비교할 때 고해상도 실시간 세션에서 유일하게 장시간 드리프트를 억제한 사례로 제시되었다. 추가적으로 백본 모델은 기존의 몇 초~몇 분 수준에서 품질이 저하되던 다른 causal 모델들보다 훨씬 긴 롤아웃에서 선명도와 기하학적 일관성이 유지되는 것으로 나타났다.

관련 Figure

Other
이 패널들은 전투, 마법, 이동, 환경 변화 등 다양한 액션 스펙트럼에서 모델이 생성한 시퀀스의 시간적 연속성과 시각적 일관성을 보여준다. 특히 장시간 연속 생성 샘플을 통해 드리프트 억제와 시간적 물리 일관성 측면의 정성적 증거를 제공한다. 연구의 주장인 '장시간 무드리프트 유지'를 뒷받침하는 시각적 근거로 활용된다.
정성적 결과를 모아놓은 판넬로 여러 장면과 상호작용 시퀀스가 시간축에 따라 어떻게 전개되는지를 샘플 프레임으로 보여준다.

Other
이 그림은 모델이 서로 다른 도메인 간 전환을 수행할 때 장면 구조와 시각적 품질을 유지하는 사례들을 집합적으로 제공한다. 샘플은 글로벌 컨텍스트와 청크 단위 프롬프트가 시간축에서 어떻게 씌워지는지를 관찰할 수 있게 하며, 데이터 파이프라인의 다양한 소스가 학습된 표현력에 기여했음을 시사한다. 결과적으로 논문이 주장한 '범용 도메인에서의 장기 안정성'을 시각적으로 보강한다.
다양한 지형과 장면에서의 연속 프레임 샘플을 배열한 패널로, 합성·자연 환경·랜드마크 전환 등 장면 전환 시의 일관성을 보여준다.

기술 상세

전체 아키텍처는 DiT(Block) 기반의 인과적 확산 생성기와 이를 실시간용으로 압축한 학생 모델로 구성된다. 입력은 초기 배경 프레임과 배경 프롬프트, 이후 청크 단위의 프롬프트와 카메라 포즈(Plücker 임베딩)로 구분되며 DiT 블록 내부에서는 self-attn, pose scale & shift, cross-attn, FFN 순의 연산이 수행된다. self-attn에는 MoBA mask를 적용하여 teacher forcing 기반의 하위대역과 bidirectional 요소를 혼합하였고 cross-attn은 background prompt와 lower-triangular 형태의 chunk-wise prompt에 서로 다른 접근 패턴을 허용하도록 설계되었다.

관련 Figure

Diagram
그림은 DiT 블록이 어떻게 연속적으로 쌓여 상태 전이를 생성하는지와 사용자 입력이 각 청크에 개별적으로 주입되는 흐름을 시각화한다. 이 도식은 특히 causal self-attention과 chunk-wise cross-attention이 시간축 상에서 어떻게 작동하는지를 직관적으로 나타내며 모델의 반복적 예측 메커니즘을 보강한다. 아키텍처 관점에서 teacher forcing과 증류 단계로의 전이가 어떻게 구조화되는지를 이해하기 위한 핵심적 근거를 제공한다.
초기 상태, 사용자 입력 프롬프트와 BG 프롬프트를 받아 여러 상태를 생성하는 DiT 블록의 반복 구조를 보이는 아키텍처 도식이다.

Diagram
매트릭스는 각 노드가 어떤 과거 타임스텝과 상호작용하는지를 색상으로 표시하여 MoBA가 teacher forcing 기반의 lower-triangular 패턴과 bidirectional 블록을 결합하는 방식을 명확히 드러낸다. 이 시각적 근거는 왜 bidirectional 요소가 순수 teacher forcing의 과적합을 완화하고 유연한 길이의 시퀀스에 적응 가능한지를 설명하는 데 직접적인 증거를 제공한다. 또한 cross-attn의 leak-free 설계 원리가 시간-정보 누수를 방지하는 메커니즘으로 작동함을 확인할 수 있다.
모델 내부의 self-attention과 cross-attention 마스크 패턴을 매트릭스로 도식화하여 MoBA 마스크의 구성 요소(teacher forcing과 bidirectional)를 비교한 그림이다.

한계점

장기 기억의 본질적인 제약이 남아 있어 컨텍스트 윈도 밖으로 사라진 지역을 재방문할 때 동일한 '정체성'을 재생성하는 대신 새로 생성하는 경향이 있다. 매우 긴 롤아웃이나 윈도 재방문 시에는 인물 정체성·스타일의 미세한 변화와 물리적 충돌 불연속성이 관찰될 수 있다. 또한 실시간 증류 모델은 여전히 상당한 계산 자원을 요구하므로 저사양 하드웨어에서의 고품질 실시간 운용은 추가적인 최적화가 필요하다.

실무 활용

공개된 코드베이스와 체크포인트를 통해 연구자와 엔지니어가 제안된 학습·증류·배포 파이프라인을 재현할 수 있게 되었다. 실시간 증류 모델과 경량 모델(1.3B)을 병행 제공하여 단일 GPU 환경에서의 배포 실험을 허용했다. 다만 실서비스 수준의 효율화는 추가 시스템 최적화가 필요하다.

인터랙티브 게임 프로토타이핑에서 비개발자용 세계 생성 도구로 사용하여 즉석에서 환경과 이벤트를 구성하는 용도
교육·시뮬레이션에서 사용자 입력에 실시간으로 반응하는 몰입형 장면을 생성하여 행동 결과를 시각화하는 용도
연구 목적으로 장시간 롤아웃이 필요한 물리·행동 학습의 시각적 데이터 생성 및 정성적 평가용 데이터셋 구축

코드 공개 여부: 공개

코드 저장소 보기

키워드

causal-pretraining(인과적 사전학습)consistency-distillation(일관성 증류)distribution-matching-distillation(DMD)DiT(확산 변환기)agentic-harness(Director-Pilot 에이전트 하네스)

용어 해설

인과적 사전학습(Causal Pretraining): — 시간 축상에서 원인(과거)이 언제나 결과(미래)보다 앞선다는 가정을 모델 학습에 도입해 미래 프레임을 과거 맥락과 현재 입력에만 조건화하여 예측하는 학습 절차이다. 이 방식은 연쇄적 예측에서 발생하는 오류 누적을 줄이도록 설계되어 장시간 롤아웃 시 시각적 품질을 더 오래 유지하게 만든다. 본 논문에서는 인과적 사전학습을 통해 드리프트 억제 성질을 가진 백본을 확보하고 이를 증류 원천으로 사용하였다.
흐름 정합 손실(Flow-Matching Objective): — 노이즈가 섞인 잠재 상태에서 모델이 목표 플로우(노이즈에서 클린 이미지 방향의 벡터)를 예측하도록 훈련하는 확률적 목표함수로, 입력 노이즈와 목표 클린 샘플의 차이를 예측 벡터로 정규화하여 평균 제곱오차로 최적화한다. 이 손실은 확산 기반 생성기의 연속적 샘플링 궤적을 학습하는 데 사용되어 시간-조건화 예측의 안정성을 높인다. 논문에서는 인과적 조건(c = 과거 프레임·카메라·프롬프트)을 포함한 형태로 flow-matching을 적용했다.
플뤼커 임베딩(Plücker Embedding): — 픽셀별 시야 광선을 6차원 좌표계로 인코딩하는 방법으로 카메라 포즈와 뷰 관점을 수치적으로 표현해 네트워크에 입력으로 제공한다. 이 임베딩을 AdaLN 같은 모듈과 결합하면 카메라 제어 신호를 확산 기반 생성 과정에 안정적으로 주입할 수 있다. 본 논문에서는 카메라 제어의 정밀한 반영을 위해 Plücker 임베딩을 사용했다.
동적 KV-캐시 스케줄링(Dynamic KV-Cache Scheduling): — 모델의 과거 키·값(키-밸류) 캐시를 고정으로 유지하지 않고 현재 제어 신호와 입력 상태에 따라 선택적으로 보존하거나 폐기하는 정책이다. 관련성 높은 과거 컨텍스트만 유지하여 주의 연산 비용을 낮추고 롤아웃 동안의 간섭을 줄이는 목적을 가진다. 논문에서는 실시간 처리와 장기 일관성 사이의 균형을 맞추기 위한 핵심 시스템 최적화로 활용되었다.

LingBot-World-Infinity: 인과적 사전학습과 증류로 실시간 무한 인터랙티브 월드 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드