LingBot-World-Infinity: 인과적 사전학습과 증류로 실시간 무한 인터랙티브 월드 생성

대형 비디오 생성 모델은 연속적 자기회귀 예측에서 발생하는 오류 누적으로 인해 몇 분 단위로 품질이 저하되는 한계가 있었다. 이 논문은 인과적 사전학습으로 드리프트에 강한 백본을 확보하고 이를 소수 단계의 실시간 생성기(student)로 증류하여 장시간(논문에서는 1시간) 유효한 비주얼 품질을 유지하는 실사용 가능성을 보였다. 실시간 상호작용을 지원하면서도 전투·마법·환경 변화 같은 풍부한 조작어휘를 반영할 수 있다는 점에서 게임 제작과 몰입형 시뮬레이션 분야에 직접적인 응용 가능성이 있다.

기존의 자기회귀적 비디오 생성기는 이전에 생성한 프레임을 다음 프레임의 조건으로 사용하면서 작은 오류가 누적되어 장시간에서의 품질 저하(드리프트)가 발생한다는 점이 출발점이다. 이 드리프트 문제는 롤아웃 길이가 길어질수록 기하급수적으로 시각적 왜곡이 커지므로 실시간 상호작용 세계를 구현하려면 근본적인 안정성 개선이 필요했다. 본 연구는 학습 단계에서 인과성 제약을 명시적으로 강제하고 attention 구조를 설계함으로써 드리프트를 구조적으로 억제하려고 했다.

전체 접근은 두 단계로 구성된다. 첫째, 인과적 조건화를 적용한 사전학습으로 고품질의 causal backbone을 학습했다. 이 단계에서는 각 프레임 x_t가 과거 프레임 x_{<t}과 현재까지의 행동 신호 a_{≤t}에만 의존하도록 우선 인과적 우도(Equation 1)에 따라 최적화했다.

논문에서는 증류된 실시간 모델이 720p 해상도에서 60fps로 동작하며 시간에 따른 시각적 품질 저하가 관찰되지 않는 단일 연속 생성 세션을 1시간 이상 수행했다고 보고했다. 정성적 비교 결과에서 제안 모델은 기존 공개 및 폐쇄형 대안들과 비교할 때 고해상도 실시간 세션에서 유일하게 장시간 드리프트를 억제한 사례로 제시되었다. 추가적으로 백본 모델은 기존의 몇 초~몇 분 수준에서 품질이 저하되던 다른 causal 모델들보다 훨씬 긴 롤아웃에서 선명도와 기하학적 일관성이 유지되는 것으로 나타났다.

전체 아키텍처는 DiT(Block) 기반의 인과적 확산 생성기와 이를 실시간용으로 압축한 학생 모델로 구성된다. 입력은 초기 배경 프레임과 배경 프롬프트, 이후 청크 단위의 프롬프트와 카메라 포즈(Plücker 임베딩)로 구분되며 DiT 블록 내부에서는 self-attn, pose scale & shift, cross-attn, FFN 순의 연산이 수행된다. self-attn에는 MoBA mask를 적용하여 teacher forcing 기반의 하위대역과 bidirectional 요소를 혼합하였고 cross-attn은 background prompt와 lower-triangular 형태의 chunk-wise prompt에 서로 다른 접근 패턴을 허용하도록 설계되었다.

장기 기억의 본질적인 제약이 남아 있어 컨텍스트 윈도 밖으로 사라진 지역을 재방문할 때 동일한 '정체성'을 재생성하는 대신 새로 생성하는 경향이 있다. 매우 긴 롤아웃이나 윈도 재방문 시에는 인물 정체성·스타일의 미세한 변화와 물리적 충돌 불연속성이 관찰될 수 있다. 또한 실시간 증류 모델은 여전히 상당한 계산 자원을 요구하므로 저사양 하드웨어에서의 고품질 실시간 운용은 추가적인 최적화가 필요하다.