재생 속도로 동작하는 생성형 월드 렌더러 AlayaRenderer-Flash

게임 엔진이 시뮬레이션하는 기하학·물리·게임 로직을 유지하면서 생성 모델이 외형을 실시간으로 바꿀 수 있으면 플레이 중에도 시각 스타일을 자유롭게 전환할 수 있다. AlayaRenderer-Flash는 기존의 오프라인 고품질 렌더러가 실시간 제약 때문에 적용할 수 없었던 상호작용 환경에 생성 기반 스타일링을 도입할 수 있음을 보여준다. 이 결과는 실시간 응답성이 필요한 인터랙티브 애플리케이션에서 생성 모델을 배치 가능한 수준으로 끌어올렸다는 점에서 실무적 의미가 크다.

현대 게임 렌더링은 지오메트리와 물리 정보를 G-buffer 형태로 분리해 저장하고 마지막 단계에서 셰이딩해 RGB를 얻는 구조를 사용한다. 이 논문은 외형 생성만을 생성 모델에 위임하고 기하학과 물리 시뮬레이션은 게임 엔진이 유지하도록 하여 장면 구조와 게임 로직을 보존하는 접근을 출발점으로 삼았다. 따라서 생성기는 G-buffer 연속 스트림을 조건으로 받아서 화면 외형만 바꾸는 역할을 하게 된다. 실시간 제약에서 가장 큰 병목은 긴 denoising 스케줄과 VAE 기반의 인코딩·디코딩 비용이었다. 논문은 denoising 단계를 50에서 4로 대폭 축소하는 few-step 증류와 VAE를 경량화한 tiny codec을 결합해 추론 비용을 줄였다. 또한 고정 길이 양방향 창이 아닌 청크 단위의 autoregressive 스트리밍을 채택해 무한 길이의 입력 시퀀스를 연속적으로 처리하면서 이전 생성 결과를 히스토리로 보존해 시간적 일관성을 유지하도록 구성했다. 프롬프트 제어를 장기간 유지하려면 각 청크가 텍스트 스타일 정보를 항상 참조해야 하므로 self-attention에 영속적 텍스트 키값을 삽입했다. 이로 인해 각 청크는 현재 G-buffer 조건뿐만 아니라 전역 스타일 프롬프트 정보를 직접 참조해 롤아웃 전체에서 스타일 변화가 일관되게 반영된다. 결과적으로 이 설계는 causal 스트리밍, prompt switching, few-step 추론을 동시에 만족시키며 실시간 성능과 텍스트 제어성을 양립시킨다.

전체 시스템은 세 가지 축의 개선으로 실시간 배포를 달성한다. 첫째, 입력 비디오 잠재를 고정 길이 청크로 분할하고 이전 청크를 보존해 autoregressive로 처리함으로써 연속된 무한 길이 스트림을 처리할 수 있게 했다. 둘째, 원교사 모델의 50스텝 denoising을 4스텝 학생으로 증류하는 세 단계의 파이프라인을 도입해 단계별로 안정화를 수행했고 마지막에는 Mean Flow Distillation과 소규모 GAN 손실로 시각적 세부를 보완했다. 핵심 메커니즘은 G-buffer를 잠재로 인코딩해 RGB 잠재와 채널 방향으로 연결한 뒤 3D patch embedding으로 투입하는 방식이다. 자기회귀 롤아웃 동안에는 과거 청크들을 clean latent 토큰으로 self-attention에 포함하고 G-buffer 잠재는 각 청크의 조건으로 사용함으로써 지오메트리 조건을 항상 보존했다. 또한 모든 self-attention 레이어에 스타일-프롬프트로부터 투영된 영속적 key–value를 보강해 프롬프트 영향이 청크 경계에 걸쳐 지속되게 했다. 코덱 측면에서는 다섯 채널별 Wan VAE 인코더를 한 번의 forward로 대체하는 공유 tiny G-buffer encoder와 Wan VAE 디코더를 증류한 tiny temporal decoder를 도입해 인코딩·디코딩 비용을 줄였다. 이들 경량 네트워크는 Wan VAE의 출력 잠재을 목표로 픽셀 재구성 및 지각적 손실 기준으로 증류되고 도메인 미세조정을 거쳐 최종 파이프라인에 통합되었다.

주요 배치 결과는 AlayaRenderer의 0.56 FPS에서 AlayaRenderer-Flash의 31.54 FPS로의 가속이다. 표준화된 5초 평가 프로토콜 상에서 AlayaRenderer-Flash는 S CLIP-I 0.847과 tLPIPSwarp 0.155를 달성해 콘텐츠 보존성과 시간적 안정성을 동시에 유지하면서 실시간 처리 속도를 확보했다. 경량 코덱 도입은 VRAM 사용량을 22.6GB에서 16.2GB로 낮추는 효과도 보였다. 구성 요소별 비교에서 autoregressive만 적용한 AlayaRenderer-AR은 FPS가 1.53으로 한계가 있었으나 콘텐츠 유사도와 경계 일관성은 개선됐다. 4스텝 증류를 추가하면 FPS가 6.30으로 증가하고 temporal LPIPS가 0.158로 개선되어 효율성과 품질을 동시에 끌어올렸다. 최종적으로 경량 코덱을 더해 31.54 FPS를 달성하면서 S CLIP-I와 Boundary SSIM이 오히려 약간 향상된 점이 확인되었다. 외부 비교에서는 AlayaRenderer-Flash가 실시간 스트리밍, 프롬프트 스위치, few-step 추론을 동시에 지원하는 유일한 방법으로 나타났다. DiffusionRenderer와 같은 양방향 오프라인 기법은 특정 평가 프로토콜하에서 S CLIP-I 0.870 같은 더 높은 오프라인 품질을 기록했으나 실시간 배포를 위한 처리율은 1.10 FPS로 부족했다. 따라서 AlayaRenderer-Flash는 실무적 배포 가능성과 양호한 시각 품질 간의 균형을 달성했다.

전체 아키텍처는 G-buffer 인코더, 3D patch embedding 기반의 diffusion transformer, 그리고 시계열 상태를 유지하는 tiny temporal decoder로 구성된다. 입력 조건은 각 프레임의 albedo, depth, normal, roughness, metallic 채널을 Wan 계열 VAE 잠재로 인코딩한 뒤 RGB 잠재와 채널 차원에서 병합해 첫 3D patch embedding 계층으로 투입하는 방식이다. 이 처리 방식은 pretrained 백본의 입력 투영만 확장하면 되므로 기존 transformer 블록은 대부분 유지된다. 자가회귀 스트리밍은 청크 길이를 4 latent 프레임으로 설정하고 이전 청크들을 세 단계 계층으로 압축 저장하는 구조를 가진다. 가장 최근 히스토리는 무압축으로 보존하고 더 먼 이력은 점차 압축해 attention에 삽입하며 첫 생성 프레임은 전역 appearance anchor로 항상 상위 계층에 보관해 롤아웃 내 일관된 초기 외형을 제공한다. 텍스트 제어는 각 self-attention 레이어에 영속적 키값을 추가해 모든 청크가 스타일 프롬프트를 직접 참조하도록 구현했다. few-step 증류는 세 단계로 구성된다. 첫 단계에서는 교사의 classifier-free guidance로 조합된 velocity field를 학생에 단일 네트워크 평가로 모사하도록 증류해 CFG 호출 비용을 제거했다. 둘째 단계에서는 Progressive Distillation 방식으로 32,16,8,4 스텝 순으로 학생을 적응시켰고 마지막 단계에서는 자기 롤아웃 기반의 Mean Flow Distillation을 적용해 배포 설정의 train test 불일치를 줄였다. 중간 특징에 소형 GAN 헤드를 추가해 고주파 손실을 보완했다. 학습과 구현 세부에서는 Black Myth: Wukong 데이터셋을 1280×720 해상도 30 FPS로 수집해 1,352개의 학습 클립과 131개의 테스트 클립을 사용했고 모든 학습 단계는 8개의 NVIDIA H200에서 수행되었다. 평가 입력 해상도는 832×448로 표준화했으며 평가 프로토콜은 5초 단위 시퀀스와 장기 롤아웃 케이스 모두를 포함했다. 성능 지표는 CLIP 이미지-이미지 유사도, warped tLPIPS, Boundary MSE/SSIM, CLIP margin, FVD, FPS와 VRAM 소모를 포함한다.

논문은 단계적 증류와 MFD를 통해 4스텝 학생의 품질을 확보했으나 공격적인 스텝 축소는 고주파 텍스처의 손실을 유발하기 때문에 중간 특징에 GAN 기반 보정이 필요했다. Mean Flow Distillation은 학생 초기화에 민감성이 있어 불안정한 초기화 방식으로는 최적화가 흔들리는 현상이 보고되었다. 또한 논문 비교에서 양방향 오프라인 방법이 특정 평가 프로토콜에서 더 높은 오프라인 품질을 보였으므로 품질 최적화를 위해서는 여전히 스케줄과 증류 설계의 트레이드오프가 존재한다.