AlayaWorld: 장기간 탐험 가능하고 플레이 가능한 비디오 월드 생성에 관한 연구. 이 논문은 AlayaWorld 프레임워크의 전체 스택 설계와 핵심 모듈을 기술한다. 실시간 상호작용, 공간·시간 일관성 유지, 장시간 안정성 확보를 중심으로 구성되었다.

왜 중요한가

AlayaWorld는 기존의 수작업으로 구축된 게임 월드 제작 비용과 확장성 한계를 기계 학습 기반 생성으로 해소하는 방향을 제시했다. 사용자의 카메라 이동과 텍스트 기반 행동을 조건으로 실시간으로 다음 관측을 합성함으로써 콘텐츠 제작과 수정의 즉응성을 높였다. 이 접근은 게임 외에도 임베디드 에이전트와 로보틱스 시뮬레이션처럼 상호작용 가능한 환경을 빠르게 생성해야 하는 응용에 실무적 기반을 제공한다.

핵심 기여

풀스택 오픈소스 프레임워크로서의 AlayaWorld

AlayaWorld는 데이터 준비, 모델 아키텍처, 학습 파이프라인, 추론 가속, 배포를 포함하는 모듈식 전체 스택을 구성하여 재현 가능한 구현과 평가 도구를 포함해 공개 준비가 된 체계를 마련했다. 이 프레임워크는 실시간 상호작용과 개방형 행동을 지원하도록 설계되어 플레이어가 자유롭게 탐험하고 행동할 수 있는 환경을 생성한다. 문서화와 레퍼런스 구현을 통해 후속 연구의 실험적 재현성을 확보할 수 있도록 의도되었다.

카메라 제어와 3D 캐시 결합을 통한 정확한 궤적 추종

AlayaWorld는 GEN3C 유사 방식의 3D 캐시를 유지하고 목표 카메라 궤적에 따라 렌더된 증거를 디노이저에 제공해 관점 추종 정확도를 높였다. 동시에 AdaLN 스타일의 경량 카메라 모듈을 통해 백본에 최소한의 파라미터 오버헤드로 궤적 인지를 주입해 응답성을 보장했다. 이중 경로는 재방문 시 공간적 일관성을 강화하면서 실시간 제약을 만족시키는 균형을 이뤘다.

장기 안정성 확보를 위한 에러 뱅크 및 히스토리 압축

장기 롤아웃에서 누적되는 드리프트를 억제하기 위해 에러 뱅크에 실제 롤아웃에서 발생한 잔류 오차를 저장해 학습 시 재주입했다. 또한 최근 프레임 히스토리를 소형 임베딩으로 압축해 시간적 동적성을 보존하면서 연속성 유지를 위한 조건 입력으로 사용했다. 이 조합은 공간적 기억과 시간적 기억의 상보성을 활용해 루프 클로저와 순방향 안정성을 동시에 지지했다.

실시간 상호작용을 위한 프롬프트 스위칭과 소수 단계 증류

프롬프트 스위칭은 청크 경계 단위로 텍스트 조건을 교체해 이전 시퀀스를 다시 생성하지 않으면서 사용자 의도의 변화를 반영하는 메커니즘을 제공했다. 소수 단계 증류는 각 청크를 적은 디노이징 단계로 생성하도록 학생 모델을 학습해 시각 지연을 단축했다. 이 설계는 시청각적 연속성과 낮은 의미적 지연을 동시에 만족시키려는 실시간 요구를 고려했다.

핵심 아이디어 이해하기

비디오 월드 생성의 출발점은 관찰 연속성에 기반한 자기회귀 예측이다. 기존 접근은 단일 클립이나 짧은 문맥을 전제로 고품질 비디오를 합성했으나, 상호작용 가능한 월드에서는 사용자의 임의 회전과 장시간 이동에 따른 공간적·시간적 일관성 유지가 핵심 난제이다. 입력 문맥이 제한적이면 재방문 시 필요한 증거가 사라져 루프 클로저가 불가능해지고, 자기생성 프레임의 누적 오차로 인해 롤아웃이 점차 데이터 분포에서 이탈하게 된다.

이 논문의 해결 원리는 증거의 인덱싱과 학습 시 노출 방식에서 출발한다. 공간적 요구에는 3D 캐시를 구축해 위치 기반 증거를 렌더링해 제공함으로써 재방문 시 해당 위치의 외관과 기하를 직접 조건으로 삼았다. 시간적 요구에는 최근 히스토리를 압축해 보관하고 조건 입력으로 투입함으로써 일시적 변화와 동적 객체의 모션 정보를 보존했다. 추가로 에러 뱅크를 통해 학습 시 실제 롤아웃에서 발생하는 왜곡을 모델이 경험하게 해 자기생성 분포의 편차를 줄였다.

아키텍처 차원에서는 무거운 백본 수정을 피하고 경량 조건 주입을 선호했다. 렌더링 기반의 이미지 증거는 백본이 기하학적 해석을 직접 수행할 필요를 줄여주고, AdaLN 스타일의 모듈은 카메라·프롬프트 조건을 적은 파라미터로 반영하게 해 실시간 비용을 억제했다. 이로 인해 모델은 큰 구조 변경 없이도 궤적 추종과 조건 업데이트를 동시에 만족할 수 있었다.

결과적으로 이 접근은 순방향 롤아웃의 안정성과 재방문 일관성을 동시에 추구했다. 공간 인덱싱은 루프 클로저 실패를 감소시켰고, 에러 중심의 학습은 드리프트 축적을 억제해 장시간 생성에서의 품질 저하를 완화했다. 이러한 조합은 플레이어가 자유롭게 이동하고 행동을 변경하는 인터랙티브 시나리오에서 실용적인 응답성과 일관성을 제공할 수 있게 했다.

방법론

전체 접근은 자기회귀 DiT 백본을 중심으로 경량 조건 주입과 외부 렌더링 캐시를 결합하는 구조로 구성되었다. 입력으로 현재 프레임, 렌더된 3D 캐시 뷰, 압축된 히스토리 임베딩, 그리고 텍스트 프롬프트 및 카메라 포즈가 주어지며, 모델은 다음 청크의 프레임을 연속적으로 생성한다. 생성은 청크 단위로 수행되며 각 청크는 약 1초 분량에 해당하고 소수 단계(논문은 4단계)를 사용해 빠르게 샘플링된다.

핵심 메커니즘은 세 경로의 조건 결합이다. 첫째 경로는 3D 캐시 기반의 렌더링으로 공간적 증거를 이미지 형태로 제공해 기하학적 일관성을 보강했다. 둘째 경로는 AdaLN 스타일의 정규화 기반 모듈로 카메라 포즈를 백본 내부 표현에 점진적으로 반영해 궤적 인식을 가능하게 했다. 셋째 경로는 Frame Preservation 유사 방식으로 최근 히스토리를 압축한 임베딩을 투입해 최근 동적 변화와 운동 정보를 유지했다.

학습 전략은 롤아웃 인식과 오차 보정에 중점을 두었다. 모델은 자기생성 히스토리로부터 발생하는 왜곡을 에러 뱅크에 저장하고 학습 시 이 샘플을 메모리 조건과 목표 타깃에 재주입해 모델이 오차에 견고하게 대응하도록 했다. 또한 소수 단계 증류를 통해 다단계 교사 샘플링을 근사한 학생 모델을 학습시켜 런타임 샘플링 비용을 줄였다. 프롬프트 스위칭은 청크 경계에서 조건을 교체하는 간단한 일괄 업데이트 규칙으로 의미적 지연을 낮추었다.

주요 결과

정성적 결과에서 AlayaWorld는 다양한 장면 스타일과 시점(1인칭·3인칭, 실사·게임풍)을 가로질러 탐험 가능한 연속적 비디오를 생성했다. 카메라 제어 실험에서 제시된 시퀀스는 목표 궤적을 따라가면서 장면 정체성과 기하학적 합리성을 보존했으며 문서에는 720p, 24fps 환경에서 청크당 4단계 샘플링으로 동작한다고 명시되었다. 프롬프트 스위칭 실험에서는 청크 경계에서 텍스트 조건을 바꾼 뒤 빠른 지연 내에 새 행동이 반영되면서 이전 시퀀스는 재생성되지 않는 특성이 관찰되었다.

일관성 평가에서는 출발-재방문(loop-closing) 궤적 실험을 통해 공간 캐시와 압축 히스토리의 결합이 재방문 시 외관·배치·텍스처의 일관성을 유지하는 데 기여함이 보고되었다. 비교군은 재방문에서 시각적 열화, 부정확한 카메라 추종, 일관성 붕괴 같은 실패 양상을 보인 반면, AlayaWorld는 이러한 실패 모드가 덜한 것으로 나타났다. 장기 롤아웃 실험에서는 한 분 단위의 확장된 생성에서도 객체 정체성과 모션 연속성이 크게 손상되지 않아 안정성 측면에서 우수한 거동을 보였다.

기술 상세

전체 아키텍처는 LTX-2.3로 파인튜닝된 DiT 기반의 자기회귀 생성기 위에 경량 조건 주입과 외부 렌더링 캐시를 결합한 형태이다. 입력 파이프라인은 인접 청크에서 렌더된 3D 캐시 뷰, 압축된 히스토리 임베딩, 텍스트 프롬프트, 카메라 포즈를 포함하며 모델은 청크 단위로 다음 프레임을 예측한다. 청크는 약 1초 분량에 대응하며 본 논문 실험은 720p·24fps 설정에서 청크당 4단계 디노이징을 사용해 실시간 요구를 충족했다.

3D 캐시는 깊이 역투영을 통해 과거 프레임을 공간에 축적하고 쿼리 카메라에 따라 렌더링된 이미지를 생성해 조건으로 제공한다. 이 렌더된 뷰는 백본이 직접 지오메트리를 추정해 해석할 부담을 줄이며 재방문 시 공간적 증거로 작동한다. 카메라 정보는 AdaLN 스타일의 정규화 분기를 통해 백본 내부 특징에 어파인 스케일·바이어스로 주입되어 연산·파라미터 오버헤드를 최소화하면서 궤적 인지를 강화했다.

히스토리 압축은 Frame Preservation 계열의 경량 인코더를 사용해 긴 시퀀스를 짧은 임베딩으로 요약하고, 이 임베딩은 최근 동적 변화와 모션을 모델이 참조하도록 한다. 에러 뱅크는 롤아웃에서 발견된 잔류 오차 샘플을 저장해 학습 시 메모리 조건과 목표 타깃에 재주입함으로써 드리프트에 대한 견고성을 학습하도록 설계되었다. 소수 단계 증류는 DMD 계열 방식을 사용해 교사 분포를 소수 단계로 근사하는 학생 샘플러를 학습해 시각 지연을 낮추었다.

학습 과정에서는 자기생성 히스토리 기반의 노출 편향을 줄이기 위해 드리프트를 시뮬레이션하거나 실제 롤아웃 오류를 재현해 모델이 손상된 조건에서 안정적으로 복원하도록 유도했다. 프롬프트 스위칭은 청크 경계에서 텍스트 조건을 교체하는 방식으로 의미적 지연을 줄였고, KV-recache처럼 무거운 런타임 캐시 재계산 대신 짧은 청크로 빈번한 조건 반영을 선택해 구현 단순성을 유지했다.

한계점

논문은 공간 인덱싱과 3D 캐시가 기하학 추정과 렌더링 품질에 크게 의존한다고 명시해 깊이 추정 오류가 일관성 저하로 이어질 수 있음을 인정했다. 또한 고정 구조의 공간 캐시는 상태가 변화하는 동적 객체를 완전히 포착하기 어렵다고 명시되어 있어 이동체 표현에 추가 메커니즘이 필요하다. 마지막으로 파이프라인 복잡성과 추가 표현 유지 비용 때문에 전체 시스템의 구현·운영 부담이 증가할 수 있음을 언급했다.

실무 활용

AlayaWorld는 실시간 상호작용이 요구되는 게임 및 시뮬레이션 파이프라인에 직접 적용 가능한 구조적 설계를 제공한다. 체계는 낮은 지연과 프롬프트 교체를 통해 플레이어 행동 변화에 빠르게 응답하며 공간 일관성과 장기 안정성을 모두 목표로 삼는다. 다만 실제 서비스 적용 시 깊이 추정과 동적 객체 표현을 위한 보완 모듈이 필요할 수 있다.

프로토타입 게임 개발에서 신속한 월드 생성과 반복적 콘텐츠 수정에 사용될 수 있다.
로보틱스와 임베디드 에이전트의 시뮬레이션 환경으로서 다양한 시각 스타일과 물리적 동작을 테스트하는 데 적합하다.
교육용 가상 환경에서 사용자 입력에 따라 동적으로 장면을 생성해 상호작용 학습을 지원할 수 있다.

코드 공개 여부: 미확인

키워드

video world models(비디오 월드 모델)autoregressive synthesis(자기회귀 합성)3D cache(3D 캐시)AdaLN(조건적 정규화)few-step distillation(소수 단계 증류)prompt switching(프롬프트 스위칭)

용어 해설

3D 캐시(3D cache): — 3D 캐시는 깊이 기반으로 과거 프레임을 3차원 공간에 재구성해 특정 카메라 관점에서 렌더된 증거를 제공하는 구조이다. 이 캐시는 재방문 시 지리적 위치에 대응하는 시각적 근거를 제공하여 루프 클로저와 공간 일관성을 강화한다. 다만 깊이·기하학 추정과 렌더링 품질에 의존하는 특성이 있으므로 동적 객체 처리에는 추가 기법이 요구된다.
에러 뱅크(Error Bank): — 에러 뱅크는 롤아웃 과정에서 축적되는 잔류 왜곡이나 아티팩트를 샘플로 저장해 학습 시 재주입하는 메커니즘이다. 모델은 이 샘플을 통해 자기생성 히스토리에서 발생하는 오차 분포에 노출되어 장기간 생성 안정성을 학습한다. 저장 시점과 재주입 방식이 학습 효과와 계산 비용에 직접적 영향을 미친다.
AdaLN: — AdaLN은 입력 조건에 따라 정규화 계수를 조정하는 방식으로, 카메라 상태나 다른 외부 조건을 작은 파라미터로 주입해 모델 내부 표현을 변조한다. 이 방식은 백본에 큰 구조 변경 없이 조건 정보를 반영하도록 설계되어 연산·파라미터 오버헤드가 낮다. 과도한 조절은 외관 품질이나 시간적 일관성 저하로 이어질 수 있어 캘리브레이션이 필요하다.
소수 단계 증류(Few-Step Distillation): — 소수 단계 증류는 다수 단계 샘플링 교사를 소수 단계의 학생 샘플러로 근사시키는 기술로, 실시간 요구사항을 만족시키기 위해 샘플링 스텝 수를 크게 줄인다. 비디오 생성에서는 프레임당 계산량을 줄여 시각 지연을 낮추지만 과도한 축소는 모션 충실도와 다양성 손실을 초래할 수 있다. 실무에서는 품질-속도 절충을 검증하는 추가 미세조정이 필요하다.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

MiniMax-H3를 행동 가능한 월드 모델로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

MiniMax-H3를 행동 가능한 월드 모델로 전환