CityRAG: 공간적으로 접지된 비디오 생성을 통한 도시 속으로의 진입

기존 비디오 생성 모델은 시각적으로는 그럴듯하지만 실제 세계의 지리적 구조를 정확히 반영하지 못하는 한계가 있었다. CityRAG는 대규모 지리 정보 데이터셋을 활용하여 실제 도시의 건물과 도로 구조를 유지하면서도 날씨나 조명 같은 가변적 요소만 자유롭게 조절할 수 있는 기술적 토대를 마련했다.

기존의 Image-to-Video(I2V) 모델은 첫 프레임의 시각적 정보에만 의존하기 때문에 카메라가 회전하거나 멀리 이동하면 보이지 않던 영역을 상상해서 채워 넣는 '환각(Hallucination)' 현상이 발생한다. 이는 Transformer 기반 모델이 학습 데이터의 통계적 확률에만 의존하여 다음 프레임을 예측하기 때문에 발생하는 근본적인 한계이다.

CityRAG는 이 문제를 해결하기 위해 Retrieval-Augmented Generation(RAG) 개념을 비디오 생성에 도입했다. 모델이 다음 장면을 생성하기 전에 외부 데이터베이스에서 해당 좌표의 실제 Street View 이미지를 검색하여 '메모리'로 활용한다. 이때 Cross-Attention 메커니즘을 통해 현재 생성 중인 프레임이 검색된 실제 지형 정보를 참조하도록 강제한다.

결과적으로 모델은 건물의 위치나 도로의 형태 같은 변하지 않는 '정적 구조'는 검색된 데이터에서 가져오고, 햇빛의 방향이나 움직이는 사람 같은 '동적 요소'는 첫 프레임의 스타일을 유지하며 생성한다. 이를 통해 수 분 동안 이동하더라도 지리적 왜곡 없이 실제 도시를 걷는 듯한 일관된 비디오를 얻을 수 있다.

CityRAG는 Wan 2.1 (14B) 모델을 기반으로 하며, 세 가지 주요 조건 입력을 처리하도록 설계되었다. 첫 번째는 장면을 초기화하는 First Image, 두 번째는 4x4 Extrinsic Matrix 리스트로 정의된 Trajectory, 세 번째는 검색된 지리 정보인 Geospatial Conditioning이다.

Trajectory Conditioning은 카메라의 상대적 포즈 정보를 Conv1D와 MLP를 거쳐 각 DiT(Diffusion Transformer) 블록의 출력에 Residual 방식으로 더해진다. [카메라 행렬 입력 → 시간축 다운샘플링 및 차원 투영 → DiT 블록 출력과 합산 → 카메라 움직임에 따른 뷰 변화 유도] 과정을 통해 물리적으로 정확한 시점 변화를 구현한다.

Geospatial Conditioning은 검색된 여러 시점의 이미지를 VAE로 인코딩한 후, 별도의 Attention 블록을 통해 주입된다. [검색된 이미지들 → VAE 잠재 공간 투영 → Cross-Attention의 Key/Value로 사용 → 생성 중인 쿼리 프레임이 지형 정보를 참조]하는 구조를 취한다. 특히 학습 시 의도적으로 시간적으로 정렬되지 않은(Temporally Unaligned) 데이터를 사용하여 모델이 픽셀 단위 복사가 아닌 의미론적 지형 구조를 추출하도록 유도한다.

CityRAG는 PSNR 15.03, SSIM 0.466, FID 16.55를 기록하며 모든 지표에서 기존 SOTA 모델인 Gen3C 및 AnyV2V를 크게 앞질렀다. 특히 정적 구조의 정확도를 측정하는 PSNR-S 지표에서 15.86을 기록하여 지리적 재구성 능력이 탁월함을 입증했다.

사용자 평가(User Study) 결과에서도 '첫 프레임과의 연속성'과 '실제 위치 재구성 충실도' 두 항목 모두에서 가장 높은 점수를 받았다. 기존 모델들이 회전 구간에서 구조가 붕괴되는 것과 달리, CityRAG는 180도 및 360도 회전 시에도 세부 텍스처와 지형지물을 정확하게 렌더링하는 것으로 나타났다.

아키텍처는 Spatio-temporal VAE와 DiT 기반 확산 모델로 구성된다. 핵심 차별점은 'Geospatial Memory'를 주입하기 위해 기존 Self-Attention 블록을 복제하여 별도로 학습시킨 전용 Attention 레이어이다. 이는 사전 학습된 비디오 생성 능력을 보존하면서도 외부 지형 정보를 유연하게 통합할 수 있게 한다.

학습 데이터셋은 전 세계 10개 도시에서 수집된 550만 개의 Street View 파노라마를 활용했다. 학습 시 v-prediction 목적 함수를 사용했으며, 노이즈 스케줄을 높은 타임스텝(t > 900)으로 시프트하여 시각적 품질을 개선했다. 최적화에는 Muon 옵티마이저를 사용해 32개의 A100 GPU에서 약 일주일간 학습을 진행했다.

현재 CityRAG는 이전 샘플의 마지막 프레임을 다음 샘플의 첫 프레임으로 사용하는 단순한 Autoregressive 방식을 사용하므로 아주 긴 영상에서는 장기적 일관성이 다소 저하될 수 있다. 또한 학습 데이터의 편향으로 인해 야간이나 눈이 오는 날씨에 대한 생성 능력이 제한적이며, 텍스트 프롬프트를 통한 세밀한 제어 기능은 아직 통합되지 않았다.