재생 속도로 동작하는 생성형 월드 렌더러 AlayaRenderer-Flash

왜 중요한가

게임 엔진이 시뮬레이션하는 기하학·물리·게임 로직을 유지하면서 생성 모델이 외형을 실시간으로 바꿀 수 있으면 플레이 중에도 시각 스타일을 자유롭게 전환할 수 있다. AlayaRenderer-Flash는 기존의 오프라인 고품질 렌더러가 실시간 제약 때문에 적용할 수 없었던 상호작용 환경에 생성 기반 스타일링을 도입할 수 있음을 보여준다. 이 결과는 실시간 응답성이 필요한 인터랙티브 애플리케이션에서 생성 모델을 배치 가능한 수준으로 끌어올렸다는 점에서 실무적 의미가 크다.

핵심 기여

청크 단위의 autoregressive 스트리밍과 계층적 히스토리 압축

렌더링을 고정 창의 양방향 처리에서 청크 기반 자기회귀 처리로 전환해 이전에 생성한 잠재 표현을 유지하고 이후 청크에서 재사용하도록 구성했다. 보존해야 할 과거 히스토리는 시간적 거리별로 세 단계로 압축해 최근 이력은 고해상도로, 먼 이력은 점차 저해상도로 저장해 메모리와 연산을 절감했다. 모든 self-attention 계층에는 스타일 프롬프트로부터 영속적 key–value를 삽입해 긴 롤아웃 동안에도 프롬프트 제어가 지속되게 했다.

50스텝 교사 모델을 4스텝으로 줄이는 단계적 few-step 증류 파이프라인

교사의 classifier-free guidance 결합 예측을 학생 가중치로 증류해 한 번의 네트워크 호출로 동작하도록 초기화했고 이후 32,16,8,4 스텝 순으로 점진적으로 스케줄을 축소해 학생이 큰 시간간격을 안정적으로 근사하게 했다. 최종 분포 정제 단계로 Mean Flow Distillation을 자기 롤아웃 환경에서 적용해 배포 시 성능 저하를 줄였으며 중간 특징에 가벼운 GAN 헤드를 더해 고주파 텍스처를 보완했다. 이 파이프라인은 4스텝으로의 축소가 가져오는 품질 저하를 최소화하면서 실행 지연을 크게 낮췄다.

경량화된 통합 코덱으로 인코딩·디코딩 병목 제거

원본 Wan VAE가 각 G-buffer 채널별로 별도 인코딩을 요구하던 구조를 단일 경량 G-buffer 인코더로 대체해 5번의 VAE 패스를 한 번의 포워드로 통합했다. 디코더는 TAEHV 계열 아키텍처를 초기화점으로 사용해 Wan VAE 디코더 출력과 픽셀 및 지각적 손실 기준으로 증류했다. 이 경량 코덱들은 도메인 특화 미세조정을 거쳐 전체 추론 처리 시간을 크게 낮추는 동시에 GPU 메모리 사용량을 감소시켰다.

실시간 게임 엔진 통합 및 재생률 달성

위 구성 요소를 스트리밍 파이프라인으로 통합해 G-buffer 인코딩, 4스텝 확산 기반 생성, 상태 유지형 디코딩을 연속적으로 실행하도록 구현했다. Black Myth: Wukong 데이터로 학습하고 SuperTuxKart 도메인에 파인튜닝해 단일 NVIDIA H200에서 엔진-사이드 G-buffer 읽기와 디스플레이 동기화를 포함한 전체 파이프라인이 30 FPS 목표를 지속적으로 유지했다. 실험 결과는 실시간 상호작용 환경에서 프롬프트 전환과 장기 롤아웃의 안정적 유지가 가능함을 보였다.

핵심 아이디어 이해하기

현대 게임 렌더링은 지오메트리와 물리 정보를 G-buffer 형태로 분리해 저장하고 마지막 단계에서 셰이딩해 RGB를 얻는 구조를 사용한다. 이 논문은 외형 생성만을 생성 모델에 위임하고 기하학과 물리 시뮬레이션은 게임 엔진이 유지하도록 하여 장면 구조와 게임 로직을 보존하는 접근을 출발점으로 삼았다. 따라서 생성기는 G-buffer 연속 스트림을 조건으로 받아서 화면 외형만 바꾸는 역할을 하게 된다. 실시간 제약에서 가장 큰 병목은 긴 denoising 스케줄과 VAE 기반의 인코딩·디코딩 비용이었다. 논문은 denoising 단계를 50에서 4로 대폭 축소하는 few-step 증류와 VAE를 경량화한 tiny codec을 결합해 추론 비용을 줄였다. 또한 고정 길이 양방향 창이 아닌 청크 단위의 autoregressive 스트리밍을 채택해 무한 길이의 입력 시퀀스를 연속적으로 처리하면서 이전 생성 결과를 히스토리로 보존해 시간적 일관성을 유지하도록 구성했다. 프롬프트 제어를 장기간 유지하려면 각 청크가 텍스트 스타일 정보를 항상 참조해야 하므로 self-attention에 영속적 텍스트 키값을 삽입했다. 이로 인해 각 청크는 현재 G-buffer 조건뿐만 아니라 전역 스타일 프롬프트 정보를 직접 참조해 롤아웃 전체에서 스타일 변화가 일관되게 반영된다. 결과적으로 이 설계는 causal 스트리밍, prompt switching, few-step 추론을 동시에 만족시키며 실시간 성능과 텍스트 제어성을 양립시킨다.

방법론

전체 시스템은 세 가지 축의 개선으로 실시간 배포를 달성한다. 첫째, 입력 비디오 잠재를 고정 길이 청크로 분할하고 이전 청크를 보존해 autoregressive로 처리함으로써 연속된 무한 길이 스트림을 처리할 수 있게 했다. 둘째, 원교사 모델의 50스텝 denoising을 4스텝 학생으로 증류하는 세 단계의 파이프라인을 도입해 단계별로 안정화를 수행했고 마지막에는 Mean Flow Distillation과 소규모 GAN 손실로 시각적 세부를 보완했다. 핵심 메커니즘은 G-buffer를 잠재로 인코딩해 RGB 잠재와 채널 방향으로 연결한 뒤 3D patch embedding으로 투입하는 방식이다. 자기회귀 롤아웃 동안에는 과거 청크들을 clean latent 토큰으로 self-attention에 포함하고 G-buffer 잠재는 각 청크의 조건으로 사용함으로써 지오메트리 조건을 항상 보존했다. 또한 모든 self-attention 레이어에 스타일-프롬프트로부터 투영된 영속적 key–value를 보강해 프롬프트 영향이 청크 경계에 걸쳐 지속되게 했다. 코덱 측면에서는 다섯 채널별 Wan VAE 인코더를 한 번의 forward로 대체하는 공유 tiny G-buffer encoder와 Wan VAE 디코더를 증류한 tiny temporal decoder를 도입해 인코딩·디코딩 비용을 줄였다. 이들 경량 네트워크는 Wan VAE의 출력 잠재을 목표로 픽셀 재구성 및 지각적 손실 기준으로 증류되고 도메인 미세조정을 거쳐 최종 파이프라인에 통합되었다.

주요 결과

주요 배치 결과는 AlayaRenderer의 0.56 FPS에서 AlayaRenderer-Flash의 31.54 FPS로의 가속이다. 표준화된 5초 평가 프로토콜 상에서 AlayaRenderer-Flash는 S CLIP-I 0.847과 tLPIPSwarp 0.155를 달성해 콘텐츠 보존성과 시간적 안정성을 동시에 유지하면서 실시간 처리 속도를 확보했다. 경량 코덱 도입은 VRAM 사용량을 22.6GB에서 16.2GB로 낮추는 효과도 보였다. 구성 요소별 비교에서 autoregressive만 적용한 AlayaRenderer-AR은 FPS가 1.53으로 한계가 있었으나 콘텐츠 유사도와 경계 일관성은 개선됐다. 4스텝 증류를 추가하면 FPS가 6.30으로 증가하고 temporal LPIPS가 0.158로 개선되어 효율성과 품질을 동시에 끌어올렸다. 최종적으로 경량 코덱을 더해 31.54 FPS를 달성하면서 S CLIP-I와 Boundary SSIM이 오히려 약간 향상된 점이 확인되었다. 외부 비교에서는 AlayaRenderer-Flash가 실시간 스트리밍, 프롬프트 스위치, few-step 추론을 동시에 지원하는 유일한 방법으로 나타났다. DiffusionRenderer와 같은 양방향 오프라인 기법은 특정 평가 프로토콜하에서 S CLIP-I 0.870 같은 더 높은 오프라인 품질을 기록했으나 실시간 배포를 위한 처리율은 1.10 FPS로 부족했다. 따라서 AlayaRenderer-Flash는 실무적 배포 가능성과 양호한 시각 품질 간의 균형을 달성했다.

기술 상세

전체 아키텍처는 G-buffer 인코더, 3D patch embedding 기반의 diffusion transformer, 그리고 시계열 상태를 유지하는 tiny temporal decoder로 구성된다. 입력 조건은 각 프레임의 albedo, depth, normal, roughness, metallic 채널을 Wan 계열 VAE 잠재로 인코딩한 뒤 RGB 잠재와 채널 차원에서 병합해 첫 3D patch embedding 계층으로 투입하는 방식이다. 이 처리 방식은 pretrained 백본의 입력 투영만 확장하면 되므로 기존 transformer 블록은 대부분 유지된다. 자가회귀 스트리밍은 청크 길이를 4 latent 프레임으로 설정하고 이전 청크들을 세 단계 계층으로 압축 저장하는 구조를 가진다. 가장 최근 히스토리는 무압축으로 보존하고 더 먼 이력은 점차 압축해 attention에 삽입하며 첫 생성 프레임은 전역 appearance anchor로 항상 상위 계층에 보관해 롤아웃 내 일관된 초기 외형을 제공한다. 텍스트 제어는 각 self-attention 레이어에 영속적 키값을 추가해 모든 청크가 스타일 프롬프트를 직접 참조하도록 구현했다. few-step 증류는 세 단계로 구성된다. 첫 단계에서는 교사의 classifier-free guidance로 조합된 velocity field를 학생에 단일 네트워크 평가로 모사하도록 증류해 CFG 호출 비용을 제거했다. 둘째 단계에서는 Progressive Distillation 방식으로 32,16,8,4 스텝 순으로 학생을 적응시켰고 마지막 단계에서는 자기 롤아웃 기반의 Mean Flow Distillation을 적용해 배포 설정의 train test 불일치를 줄였다. 중간 특징에 소형 GAN 헤드를 추가해 고주파 손실을 보완했다. 학습과 구현 세부에서는 Black Myth: Wukong 데이터셋을 1280×720 해상도 30 FPS로 수집해 1,352개의 학습 클립과 131개의 테스트 클립을 사용했고 모든 학습 단계는 8개의 NVIDIA H200에서 수행되었다. 평가 입력 해상도는 832×448로 표준화했으며 평가 프로토콜은 5초 단위 시퀀스와 장기 롤아웃 케이스 모두를 포함했다. 성능 지표는 CLIP 이미지-이미지 유사도, warped tLPIPS, Boundary MSE/SSIM, CLIP margin, FVD, FPS와 VRAM 소모를 포함한다.

한계점

논문은 단계적 증류와 MFD를 통해 4스텝 학생의 품질을 확보했으나 공격적인 스텝 축소는 고주파 텍스처의 손실을 유발하기 때문에 중간 특징에 GAN 기반 보정이 필요했다. Mean Flow Distillation은 학생 초기화에 민감성이 있어 불안정한 초기화 방식으로는 최적화가 흔들리는 현상이 보고되었다. 또한 논문 비교에서 양방향 오프라인 방법이 특정 평가 프로토콜에서 더 높은 오프라인 품질을 보였으므로 품질 최적화를 위해서는 여전히 스케줄과 증류 설계의 트레이드오프가 존재한다.

실무 활용

AlayaRenderer-Flash는 게임 엔진에서 연속적으로 추출되는 G-buffer 스트림을 입력으로 받아 실시간으로 스타일화된 프레임을 생성하므로 게임, 시각화, 인터랙티브 시나리오에 바로 적용 가능한 배포형 렌더러다. 단일 NVIDIA H200 상에서 엔진 연동을 포함해 전체 파이프라인이 30 FPS 목표를 지속적으로 유지했고 프롬프트 전환이 롤아웃 중단 없이 이루어졌다. 공개된 GitHub 저장소를 통해 배포 코드와 데모가 제공되어 실무 적용이 용이하다.

라이브 게임의 시각 스타일 변경과 실시간 필터 적용을 통한 플레이어 커스터마이제이션
시뮬레이션 기반 훈련 환경에서 물리적 동작을 유지한 채 다양한 시각 조건으로 데이터 생성
인터랙티브 시각화 도구에서 대화형 텍스트 프롬프트로 장면 분위기와 조명 실험
실시간 스트리밍 환경에서 콘텐츠 제작자용 실시간 룩 디벨롭 및 방송 효과 적용

코드 공개 여부: 공개

코드 저장소 보기

키워드

G-buffer(지오메트리·물리 버퍼)diffusion(확산 모델)distillation(증류화)VAE(변분 오토인코더)autoregressive-streaming(자가회귀 스트리밍)

용어 해설

지오메트리 버퍼(G-buffer): — 렌더링 파이프라인에서 깊이, 노말, 알베도, 러프니스, 금속성 등 장면의 물리적 특성을 채널별로 저장한 버퍼들로서 본 논문에서는 이들 G-buffer를 연속 비디오 조건으로 인코딩해 생성 모델의 입력으로 사용해 장면 구조와 물리적 상호작용을 보존하는 조건 정보로 활용한다.
변분 오토인코더(VAE): — 입력 이미지를 잠재 공간으로 압축하고 다시 복원하는 신경망 구조로서 AlayaRenderer 계열은 Wan 계열의 causal 3D VAE를 사용해 프레임 및 G-buffer 채널을 잠재 표현으로 변환하고 복원 과정의 비용이 전체 추론 지연에 큰 영향을 주기 때문에 경량화된 VAE 대체가 핵심이었다.
분류기 없는 가이던스(Classifier-Free Guidance): — 텍스트 조건과 무조건 입력을 결합해 생성 방향을 강화하는 기법으로서 원본 교사 모델은 각 denoising 단계에서 두 번의 네트워크 평가를 사용했으나 논문은 이 동작을 교사 예측으로부터 학생 가중치에 증류해 단일 네트워크 평가로 동작하도록 만들었다.
단계적 증류(Progressive Distillation): — 긴 denoising 스케줄을 소수 스텝으로 줄일 때 발생하는 불안정성을 완화하기 위해 중간 단계 스케줄을 순차적으로 학습시키는 방법으로서 본문에서는 50스텝 가이던스 증류 후 32,16,8,4 스텝 순으로 학생을 적응시켜 최종 4스텝 학생의 학습을 안정화했다.
평균 흐름 증류(Mean Flow Distillation): — 교사 분포의 흐름 정보를 학생 네트워크가 모사하도록 하는 분포 정제 단계로서 자기 롤아웃 환경에서 학생이 자신의 예측만으로 학습하도록 구성해 배포 시의 train test 불일치를 줄이고 4스텝에서의 시각 품질을 향상시키는 데 사용되었다.

재생 속도로 동작하는 생성형 월드 렌더러 AlayaRenderer-Flash

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략