AlayaWorld: 장기간 탐험 가능하고 플레이 가능한 비디오 월드 생성에 관한 연구. 이 논문은 AlayaWorld 프레임워크의 전체 스택 설계와 핵심 모듈을 기술한다. 실시간 상호작용, 공간·시간 일관성 유지, 장시간 안정성 확보를 중심으로 구성되었다.

AlayaWorld는 기존의 수작업으로 구축된 게임 월드 제작 비용과 확장성 한계를 기계 학습 기반 생성으로 해소하는 방향을 제시했다. 사용자의 카메라 이동과 텍스트 기반 행동을 조건으로 실시간으로 다음 관측을 합성함으로써 콘텐츠 제작과 수정의 즉응성을 높였다. 이 접근은 게임 외에도 임베디드 에이전트와 로보틱스 시뮬레이션처럼 상호작용 가능한 환경을 빠르게 생성해야 하는 응용에 실무적 기반을 제공한다.

비디오 월드 생성의 출발점은 관찰 연속성에 기반한 자기회귀 예측이다. 기존 접근은 단일 클립이나 짧은 문맥을 전제로 고품질 비디오를 합성했으나, 상호작용 가능한 월드에서는 사용자의 임의 회전과 장시간 이동에 따른 공간적·시간적 일관성 유지가 핵심 난제이다. 입력 문맥이 제한적이면 재방문 시 필요한 증거가 사라져 루프 클로저가 불가능해지고, 자기생성 프레임의 누적 오차로 인해 롤아웃이 점차 데이터 분포에서 이탈하게 된다.

이 논문의 해결 원리는 증거의 인덱싱과 학습 시 노출 방식에서 출발한다. 공간적 요구에는 3D 캐시를 구축해 위치 기반 증거를 렌더링해 제공함으로써 재방문 시 해당 위치의 외관과 기하를 직접 조건으로 삼았다. 시간적 요구에는 최근 히스토리를 압축해 보관하고 조건 입력으로 투입함으로써 일시적 변화와 동적 객체의 모션 정보를 보존했다. 추가로 에러 뱅크를 통해 학습 시 실제 롤아웃에서 발생하는 왜곡을 모델이 경험하게 해 자기생성 분포의 편차를 줄였다.

아키텍처 차원에서는 무거운 백본 수정을 피하고 경량 조건 주입을 선호했다. 렌더링 기반의 이미지 증거는 백본이 기하학적 해석을 직접 수행할 필요를 줄여주고, AdaLN 스타일의 모듈은 카메라·프롬프트 조건을 적은 파라미터로 반영하게 해 실시간 비용을 억제했다. 이로 인해 모델은 큰 구조 변경 없이도 궤적 추종과 조건 업데이트를 동시에 만족할 수 있었다.

결과적으로 이 접근은 순방향 롤아웃의 안정성과 재방문 일관성을 동시에 추구했다. 공간 인덱싱은 루프 클로저 실패를 감소시켰고, 에러 중심의 학습은 드리프트 축적을 억제해 장시간 생성에서의 품질 저하를 완화했다. 이러한 조합은 플레이어가 자유롭게 이동하고 행동을 변경하는 인터랙티브 시나리오에서 실용적인 응답성과 일관성을 제공할 수 있게 했다.

전체 접근은 자기회귀 DiT 백본을 중심으로 경량 조건 주입과 외부 렌더링 캐시를 결합하는 구조로 구성되었다. 입력으로 현재 프레임, 렌더된 3D 캐시 뷰, 압축된 히스토리 임베딩, 그리고 텍스트 프롬프트 및 카메라 포즈가 주어지며, 모델은 다음 청크의 프레임을 연속적으로 생성한다. 생성은 청크 단위로 수행되며 각 청크는 약 1초 분량에 해당하고 소수 단계(논문은 4단계)를 사용해 빠르게 샘플링된다.

핵심 메커니즘은 세 경로의 조건 결합이다. 첫째 경로는 3D 캐시 기반의 렌더링으로 공간적 증거를 이미지 형태로 제공해 기하학적 일관성을 보강했다. 둘째 경로는 AdaLN 스타일의 정규화 기반 모듈로 카메라 포즈를 백본 내부 표현에 점진적으로 반영해 궤적 인식을 가능하게 했다. 셋째 경로는 Frame Preservation 유사 방식으로 최근 히스토리를 압축한 임베딩을 투입해 최근 동적 변화와 운동 정보를 유지했다.

학습 전략은 롤아웃 인식과 오차 보정에 중점을 두었다. 모델은 자기생성 히스토리로부터 발생하는 왜곡을 에러 뱅크에 저장하고 학습 시 이 샘플을 메모리 조건과 목표 타깃에 재주입해 모델이 오차에 견고하게 대응하도록 했다. 또한 소수 단계 증류를 통해 다단계 교사 샘플링을 근사한 학생 모델을 학습시켜 런타임 샘플링 비용을 줄였다. 프롬프트 스위칭은 청크 경계에서 조건을 교체하는 간단한 일괄 업데이트 규칙으로 의미적 지연을 낮추었다.

정성적 결과에서 AlayaWorld는 다양한 장면 스타일과 시점(1인칭·3인칭, 실사·게임풍)을 가로질러 탐험 가능한 연속적 비디오를 생성했다. 카메라 제어 실험에서 제시된 시퀀스는 목표 궤적을 따라가면서 장면 정체성과 기하학적 합리성을 보존했으며 문서에는 720p, 24fps 환경에서 청크당 4단계 샘플링으로 동작한다고 명시되었다. 프롬프트 스위칭 실험에서는 청크 경계에서 텍스트 조건을 바꾼 뒤 빠른 지연 내에 새 행동이 반영되면서 이전 시퀀스는 재생성되지 않는 특성이 관찰되었다.

일관성 평가에서는 출발-재방문(loop-closing) 궤적 실험을 통해 공간 캐시와 압축 히스토리의 결합이 재방문 시 외관·배치·텍스처의 일관성을 유지하는 데 기여함이 보고되었다. 비교군은 재방문에서 시각적 열화, 부정확한 카메라 추종, 일관성 붕괴 같은 실패 양상을 보인 반면, AlayaWorld는 이러한 실패 모드가 덜한 것으로 나타났다. 장기 롤아웃 실험에서는 한 분 단위의 확장된 생성에서도 객체 정체성과 모션 연속성이 크게 손상되지 않아 안정성 측면에서 우수한 거동을 보였다.

전체 아키텍처는 LTX-2.3로 파인튜닝된 DiT 기반의 자기회귀 생성기 위에 경량 조건 주입과 외부 렌더링 캐시를 결합한 형태이다. 입력 파이프라인은 인접 청크에서 렌더된 3D 캐시 뷰, 압축된 히스토리 임베딩, 텍스트 프롬프트, 카메라 포즈를 포함하며 모델은 청크 단위로 다음 프레임을 예측한다. 청크는 약 1초 분량에 대응하며 본 논문 실험은 720p·24fps 설정에서 청크당 4단계 디노이징을 사용해 실시간 요구를 충족했다.

3D 캐시는 깊이 역투영을 통해 과거 프레임을 공간에 축적하고 쿼리 카메라에 따라 렌더링된 이미지를 생성해 조건으로 제공한다. 이 렌더된 뷰는 백본이 직접 지오메트리를 추정해 해석할 부담을 줄이며 재방문 시 공간적 증거로 작동한다. 카메라 정보는 AdaLN 스타일의 정규화 분기를 통해 백본 내부 특징에 어파인 스케일·바이어스로 주입되어 연산·파라미터 오버헤드를 최소화하면서 궤적 인지를 강화했다.

히스토리 압축은 Frame Preservation 계열의 경량 인코더를 사용해 긴 시퀀스를 짧은 임베딩으로 요약하고, 이 임베딩은 최근 동적 변화와 모션을 모델이 참조하도록 한다. 에러 뱅크는 롤아웃에서 발견된 잔류 오차 샘플을 저장해 학습 시 메모리 조건과 목표 타깃에 재주입함으로써 드리프트에 대한 견고성을 학습하도록 설계되었다. 소수 단계 증류는 DMD 계열 방식을 사용해 교사 분포를 소수 단계로 근사하는 학생 샘플러를 학습해 시각 지연을 낮추었다.

학습 과정에서는 자기생성 히스토리 기반의 노출 편향을 줄이기 위해 드리프트를 시뮬레이션하거나 실제 롤아웃 오류를 재현해 모델이 손상된 조건에서 안정적으로 복원하도록 유도했다. 프롬프트 스위칭은 청크 경계에서 텍스트 조건을 교체하는 방식으로 의미적 지연을 줄였고, KV-recache처럼 무거운 런타임 캐시 재계산 대신 짧은 청크로 빈번한 조건 반영을 선택해 구현 단순성을 유지했다.

논문은 공간 인덱싱과 3D 캐시가 기하학 추정과 렌더링 품질에 크게 의존한다고 명시해 깊이 추정 오류가 일관성 저하로 이어질 수 있음을 인정했다. 또한 고정 구조의 공간 캐시는 상태가 변화하는 동적 객체를 완전히 포착하기 어렵다고 명시되어 있어 이동체 표현에 추가 메커니즘이 필요하다. 마지막으로 파이프라인 복잡성과 추가 표현 유지 비용 때문에 전체 시스템의 구현·운영 부담이 증가할 수 있음을 언급했다.