PanoWorld: 회전-등변성 기반의 실제 환경 파노라마 영상 생성

파노라마는 한 프레임으로 360° 장면을 포착해 장기적 공간·광도 일관성이 특히 중요하지만 기존 메모리 기반 접근법은 왜곡과 회전에 취약해 장면 붕괴가 발생했다. PanoWorld는 회전을 기하학적 재투영으로 처리해 생성 모델이 병진에만 집중하도록 단순화함으로써 복잡한 고도 변화와 조명 변화가 있는 야외 시퀀스에서 구조적 일관성 유지가 가능함을 보였다. 또한 실제 UAV 촬영과 고품질 시뮬레이션을 결합한 World360 데이터셋을 제공해 실세계 물리적 변이에서의 평가 기준을 확장했다.

문제의 출발점은 ERP가 픽셀 단위의 평면 변형 때문에 회전과 병진이 섞인 상황에서 과거 프레임의 재활용이 왜곡에 취약하다는 점이다. 회전은 왜곡 패턴을 변화시키지만 장면의 기하학적 내용은 보존되므로 회전을 기하학적 재투영으로 처리하면 생성 모델이 병진으로 인한 파라랙스와 방사선 강도 변화에만 집중할 수 있다. 이 분해는 메모리 검색의 정렬 문제를 단순화해 장기 일관성을 확보할 수 있는 출발점을 제공한다.

핵심 해결 원리는 픽셀을 구면상의 단위 레이로 매핑하고 각 레이에 대해 로컬 직교좌표계를 구성해 카메라 병진이 레이의 관측값에 미치는 영향을 명시적으로 모델링하는 것이다. 이 과정에서 레이별 변환 행렬을 계산해 카메라 중심의 병진 성분을 로컬 축으로 투사함으로써 각 레이가 관찰 강도 변화를 어떻게 겪는지 수치적으로 표현한다. 이러한 레이 단위의 기하 정보는 PRoPE라는 위치 임베딩으로 인코딩되어 디퓨전 트랜스포머 블록에 주입되어 시간·광도·기하 일관성을 제약한다.

달라지는 점은 기존의 시각적 메모리 검색이 이미지-평면 기반 워핑이나 명시적 3D 포인트에 의존해 회전과 극단적 왜곡에서 실패하던 상황과 대비된다. PanoWorld는 회전을 재투영으로 처리하고 메모리와 쿼리를 동일한 PRoPE 공간으로 정렬함으로써 어텐션 기반 검색이 기하학적 대응을 직접 이용하게 했다. 이로 인해 장면 재방문 시 픽셀 수준의 색·구조 불일치가 줄어들고 긴 시퀀스에서도 PSNR과 FID 등 지표가 유의하게 개선되는 결과가 도출되었다.

전체 접근 방식은 회전 분해, DPRC 기반의 액션 스트림, GMA 기반의 메모리 스트림을 하나의 디퓨전 백본에서 삼중 스트림으로 융합하는 구조로 구성된다. 입력으로 초기 파노라마 프레임과 목표 카메라 궤적을 받아 먼저 회전 분리를 통해 모든 프레임을 동일한 heading으로 정렬하고, 그 상태에서 병진만을 반영하는 레이 기반 조건을 DPRC에 공급한다. 메모리 은행은 PRoPE로 인코딩된 키·값을 저장하고 어텐션으로 검색된 특징을 신뢰도 게이트로 융합해 최종 디퓨전 특징을 보정한다.

DPRC는 각 잠재격자 픽(i,j)를 구면 좌표(θ,φ)로 전환하고 식(1)-(2)의 매핑으로 카메라-공간 레이 r_cam을 얻는다. 각 레이에 대해 로컬 직교기저 R_loc을 구성하고 이를 통해 T_ray를 형성해 전체 카메라 병진을 로컬 레이 좌표로 투사한다. 투사된 값은 PRoPE로 임베딩되어 디퓨전 트랜스포머의 블록들에 시간적으로 주입되며, 이로써 생성 흐름은 레이 단위의 기하·광도 제약을 따르게 된다.

GMA는 메모리 키·값을 PRoPE 공간으로 정렬해 현재 쿼리의 레이와 직접적인 3D 상관관계를 기반으로 어텐션을 수행한다. 어텐션에서의 최대 affinity를 기준으로 신뢰도 c를 계산하여 clamp한 뒤 가중 게이트 g·c로 회수된 메모리 특징을 베이스 특징과 선형적으로 융합한다. 이 절차는 관측되지 않은 영역에서 메모리 의존에 따른 환상을 억제하고 고신뢰도 레이에서만 역사 정보를 강하게 반영하도록 한다.

학습은 세 단계로 분리되어 안정성을 확보한다. 1단계에서 LoRA로 백본을 파노라마 도메인에 적응시켜 ERP 특유의 위도 가중 손실(Latitude-Aware Reconstruction Loss)을 사용해 극지 왜곡의 재구성 중요도를 반영한다. 2단계에서는 LoRA를 고정한 채 DPRC 액션 스트림만 학습하여 병진 의존 파라랙스를 집중적으로 학습한다. 3단계에서는 GMA를 활성화해 메모리 기반 장기 일관성을 학습시키며 Confidence-Guided Gating으로 환상 생성 위험을 억제한다.

메인 벤치마크 결과에서 PanoWorld는 480p 조건에서 FID 27.64, FID_pole 47.21, FID_equ 26.00을 달성해 비교 대상들보다 낮은 분포 간 거리 값을 기록했다. 전반적인 화질 지표로 QA qual. 4.0202를 획득하여 구조적 무결성과 시각적 현실감 측면에서 우수함이 확인되었다. Imagine360은 미학 점수가 높은 편이나 기하학적 안정성은 낮아 본 방법과 대비됐다.

궤적 제어 성능은 PSNR 기준으로 모든 시간 창에서 우위를 보였고 480p에서 PSNR 20-25 구간 평균 22.83±3.73을 기록해 Matrix-3D와 OmniRoam보다 높은 경로 일치성을 보였다. ViPE를 통한 역구성 평가에서도 생성 비디오로부터 재추정한 궤적이 GT와 가장 밀접하게 정렬되어 안정적 제어 성능이 검증되었다. Ablation에서는 GMA의 포함이 장기 PSNR 향상에 일관된 영향을 주었고 Random Memory 변형은 오히려 성능 저하를 야기했다.

실시간 확장 결과에서는 Causal Forcing 기반의 증류로 161프레임 파노라마 비디오를 단일 NVIDIA H20 GPU에서 8초에 생성하는 성능을 보고했으며 전체 모델의 생성 시간(약 4분 48초)과 비교해 수십 배 속도 향상이 확인되었다. 이 속도는 Matrix-3D(약 16.5분)와 OmniRoam(약 31분)보다 현저히 빠르며 품질 손실이 크지 않은 점이 강조되었다.

전체 아키텍처는 Wan2.2-5B 백본을 기반으로 LoRA로 파노라마 도메인에 적응시킨 뒤 시각적 self-attention 스트림, DPRC 액션 스트림, GMA 메모리 스트림을 병렬로 운용하는 삼중 스트림 DiT 구조를 채택한다. 각 스트림의 출력은 공통 잠재 공간에서 합쳐져 디코더로 복원되며, 잠재 공간에서의 연산은 계산 비용을 제어하면서 레이 기반 조건을 유지하게 설계되었다. LoRA 적용은 베이스 가중치를 고정한 채 저차원 분해 행렬만 학습하도록 하여 파노라마 특화 적응을 저비용으로 달성한다.

구체적 수식 중 구면 레이 매핑은 식(1)-(2)로 기술된다: θ= \frac{\pi}{2}-\frac{i+0.5}{H}\pi, φ=\frac{j+0.5}{W}2\pi-\pi이며 카메라-공간 레이 r_cam=[-cosθ cosφ, -cosθ sinφ, -sinθ]^⊤ 이다. 여기서 i,j는 격자 인덱스, H,W는 잠재 높이·너비이다. 입력 픽 좌표(i,j)를 θ,φ로 변환하면 단위 레이 방향을 얻고 이 방향은 로컬 z축(z_loc)으로 사용되어 로컬 직교기저 R_loc를 구성한다. 예를 들어 H=64, W=128인 잠재에서 중앙 픽(i=31,j=63)는 θ·φ 계산을 통해 특정 방향 벡터를 얻고 이 벡터가 로컬 좌표계의 z축이 된다. 이 흐름은 입력 좌표→각도 변환→단위 벡터 계산→로컬 기저 구성→T_ray 형성의 순서로 동작하며 T_ray는 카메라 병진을 해당 레이 로컬 축으로 투사해 파라랙스 효과를 정량화한다.

메모리 신뢰도 게이팅은 식(6)로 정의된 최대 어텐션 affinity를 clamp하여 신뢰도 c를 산출하고, 식(7)에서 F_final=F_base+(g·c)·F_mem의 형태로 융합된다. 여기서 Q_iK_j^⊤/√d에 softmax를 적용한 결과의 최대값이 c를 형성하므로 검색된 메모리의 유사도가 높을수록 게이트가 열리고 낮을수록 메모리 영향이 억제된다. 이 구조는 관측되지 않은 영역에서 메모리 의존으로 인한 환영을 방지하며 재방문 시 일관된 색·구조를 보장한다.

학습 손실로는 파노라마에 특화한 위도 가중 재구성 손실을 사용한다: L_stage1=E[cos(θ)·|ϵ-ϵ_θ(x_t,t)|^2]. 여기서 cos(θ)는 위도에 따른 중요도 가중치로 극지의 왜곡 민감도를 반영한다. 트레이닝 파이프라인은 각 스테이지에서 일부 파라미터를 고정해 모듈 간 간섭을 줄이고 수렴을 안정화하는 전략을 따른다.