Pantheon360: 3D‑Aware 360° 비디오 확산으로 디지털 트윈 생성을 제어하다

왜 중요한가

완전한 디지털 트윈을 위한 고정확도 시뮬레이션은 3D 기하 일관성과 장기 시간 축의 컨트롤이 필수다. 기존의 perspective 기반 영상 생성은 FoV 제한으로 인해 시공간 간 불일치가 누적되지만, Pantheon360은 360° 입력에서 3D Cache를 활용해 기하를 확고히 제어하고 diffusion은 텍스처 합성에 집중한다. 이로써 전역 기하 일관성과 텍스처 품질을 동시에 달성한다.

핵심 기여

Exact 카메라 궤도 제어를 위한 3D Cache 도입

입력으로 주어진 360° 프레임에서 3D Cache를 재구성하고, target trajectory에 따라 지오메트리 비디오( Vgeo )를 렌더링한 뒤 이를 latent 공간에 주입해 360° 비디오를 합성한다. 기하 정보를 고정시키고 diffusion은 텍스처에 집중하도록 분리해 3D 일관성을 강화한다.

2 스트림 조건부 3D‑aware 360° 비디오 생성

Vgeo에서 얻은 geometic latent vequi를 이용하고, 입력 프레임의 8개 perspective crop으로 CLIP 피처를 얻어 cross-attention으로 시맨틱 정보를 주입한다. ERP 렌더링된 Vgeo를 E로 인코딩해 vequi를 얻고, yequi에 연결해 확산 과정을 촉진한다.

Dual‑anchor latent fusion으로 보간 안정성 강화

시작 프레임과 끝 프레임 양방향에서 3D Cache를 재구성하고 두 방향의 latent를 평균화해 보간 시 기하 불일치를 완화한다. Time Reversal Fusion의 아이디어를 채택하되, 속도와 간결성을 위해 t0=0 등 추가 변형은 사용하지 않는다.

대규모 real‑world 데이터 기반 학습 및 자동 주석

360‑1M에서 품질 필터링 후 ViPE로 CGT 포즈를 추정하고 SLAM으로 3D Cache를 구축한다. 이 과정을 통해 고품질 지오메트릭 조건과 안정적인 학습 데이터를 확보한다.

360° Street View 및 비디오 안정화에의 적용성

단일 또는 희소 360° 뷰에서의 제어된 비디오 합성, Google Street View 경로 재생 간의 매끄러운 전환, 촬영 흔들림 보정 등의 응용에 대해 state‑of‑the‑art 성능을 보인다.

핵심 아이디어 이해하기

단계 1: 360° 입력에서 얻은 지오메트리 정보를 바탕으로 3D Cache를 구성한다. 단계 2: Target trajectory Ctarget에 따라 3D Cache를 ERP로 렌더링해 Vgeo를 만들고, Vgeo를 latent space에 인코딩해 vequi를 얻는다. 단계 3: CLIP 기반의 perspective crops(8개)를 이용한 cimg를 cross-attention으로 결합해 최종 diffusion에 조건으로 제공한다. 단계 4: 차별화된 3D 기하 정보가 주된 제약으로 작용하고, diffusion은 고해상도 텍스처 합성에 집중한다.

방법론

전체 접근 방식은 3D-aware conditioning과 360° 비디오 확산의 분리 원리로 구성된다. 패키지 구성: (1) 3D Cache Reconstruction: 360° 프레임을 여러 perspective 뷰로 분해하고 PI3/ VGGT 등으로 3D 포인트 클라우드를 얻고, 노출된 지오메트리를 정제한다. (2) Geometric Conditioning: Target trajectory 를 따라 3D 포인트 클라우드를 ERP로 렌더링해 Vgeo를 생성하고, Vgeo를 E로 인코딩해 vequi를 얻은 뒤, 확산의 노이즈 latent에 연결한다. (3) Image Features Conditioning: I0를 8개 perspective crop로 나눠 CLIP 피처를 얻고 cross-attention으로 cimg에 결합한다. (4) Training: L = E_{yequi, vequi, cimg, ε}[λ(t) || ε − fθ(yequi,t, t, vequi, cimg) ||^2]를 최소화하며, 25 denoising steps, 5.0의 guidance scale로 학습한다. (5) Dual‑Anchor Fusion: 시작/끝 프레임에서 각각 vfwd_geo, vbwd_geo를 계산하고 xt−1,s, xt−1,e를 각각 예측한 뒤 평균으로 결합한다. (6) Data: 512×1024 해상도, 50,000 iterations, 4 A100 GPU, 데이터셋으로 360‑1M을 사용하고 ViPE로 3D 트래젝터리 주석을 부여한다.

주요 결과

주요 벤치마크에서 모든 구성에서 Pantheon360이 ViewCrafter, TrajectoryCrafter, GEN3C 대비 우수한 성능을 보였다. 단일 360° 뷰에서 Web360 데이터셋에 대해 FVD 356.151, SSIM 0.746, PSNR 22.838, LPIPS 0.065, MET3R 0.284로 최상위를 차지했다. 희소 360° 뷰 기반 Habitat 데이터셋에서도 FVD 450.696, SSIM 0.756, PSNR 20.392, LPIPS 0.091, MET3R 0.3026으로 가장 우수하였다. 2‑뷰 보간 실험에서 STWE/IE/PSNR/SSIM/LPIPS 등의 지표에서도 우수한 개선을 보였고, 360° Street View와 구글 맵스의 실세계 데이터에 대해 3D 일관성과 기하 정확성을 유지했다. Ablation 연구에서 Dual+Latent Fusion이 최적의 전반 성능을 달성했다.

기술 상세

구조: G = fine-tuned SVD U‑Net; 두 흐름 조건: Geometric Latent vequi = E(Vgeo)와 Image Features cimg (8 perspective crops via CLIP)를 포함하는 cross-attention. 학습 목표: L = Eyequi,vequi,cimg,t,ε[λ(t)||ε − fθ(yequi,t, t, vequi, cimg)||^2], 25 denoising steps, 5.0 가이드 스케일, 학습 해상도 512×1024, 50,000 iterations. 3D Cache 재구성은 PI3/ VGGT로 수행하며 perspective views는 16개(8 yaw, 2 pitch)로 획득한다. 3D Cache 품질 필터링: 컨피던스 임계치 0.25, edge filtering, sky masking. Dual-anchor 인코딩은 프론트/백 방향 Vgeo를 E로 인코딩한 vfwd_geo, vbwd_geo를 사용하고, 두 방향의 denoising 결과를 평균하여 최종 latent를 생성한다. 데이터 생성 파이프라인은 ViPE로 CGT 포즈 추정, SLAM 최적화를 통해 3D Cache를 구성한다. 학습 데이터는 360‑1M에서 55%를 보존한다. 3D Consistency 검증은 Pi3로 참조 이미지와 생성 영상에서 포인트 클라우드 재구성으로 수행되었다. 한계로 динами한 객체의 다이나믹한 모션은 학습_PRIOR에 의존하며, 3D Cache는 정적 기하를 주로 인코딩한다.

한계점

동적 객체의 움직임이 많은 씬에서 모션 블러 아티팩트가 생길 수 있으며, 입력 360° 이미지의 stitching 아티팩트가 파이프라인 전반으로 확산될 수 있다. 4D 재구성이나 고품질 입력 캡처를 통한 개선이 필요하다. 객체 수준의 동적 제어는 아직 명시적으로 가능하지 않다.

실무 활용

스파스 입력으로도 고품질의 360° 비디오를 생성하고, 긴 트래젝토리나 Street View 스타일의 연속 네비게이션에서 글로벌 기하 일관성을 유지한다. 3D Cache 기반의 기하 제약으로 시퀀스 간의 물체 구조가 일관되며, 360° 경로 제어가 가능해 디지털 트윈 시나리오에 적용하기 적합하다.

360° Street View 기반 연속 내비게이션 비디오 생성
희소/단일 360° 입력에서의 360° 비디오 보간
360° 영상 안정화(perturbed habitat trajectories 기반)
디지털 트윈용 3D 재구성 및 무결성 보장
구글 맵스/Street View 데이터로부터의 대규모 시나리오 확장

코드 공개 여부: 미확인

키워드

360° video diffusion3D Cachegeometric conditioningVgeoCLIP cross-attentiondual-anchor fusionViPE360-1MStreet View

용어 해설

3D 캐시(3D Cache): — 입력 프레임에서 추출한 3D 기하를 저장해 두는 가상의 공간 표현으로, 이후 생성과정에서 전역 기하 일관성을 보장하는 기초 정보로 사용된다.
기하학적 일관성(Geometric Consistency): — 다수의 관측에서 재현되는 동일한 물체 구조를 유지하도록 프롬프트의 공간 기하 정보를 제약하는 원칙이다.
π3: — Scalable permutation-equivariant visual geometry learning으로 알려진 3D 기하 학습 기반 재구성 모델이다.
에퀘이터-적도 왜곡(equirectangular distortion): — 360° 파노라마 영상에서의 원근 및 좌표 변환으로 인한 왜곡을 다루는 문제로, 생성 시 보정이 필요하다.
360-1M: — 다양한 실제 환경의 360° 비디오를 모은 대규모 데이터셋으로, 트래젝터리 제어 학습에 사용된다.
시맨틱 컨디셔닝(Semantic Conditioning): — 입력 프레임의 시맨틱 정보를 CLIP 기반 피처로 추출해 크로스-어텐션으로 비디오 생성에 주입하는 제어 방식이다.
크로스 어텐션(Cross-Attention): — 다중 소스 피처를 결합하기 위해 서로 다른 토큰 사이의 쌍-간 연관성을 학습하는 어텐션 메커니즘이다.