PanoWorld: 회전-등변성 기반의 실제 환경 파노라마 영상 생성

왜 중요한가

파노라마는 한 프레임으로 360° 장면을 포착해 장기적 공간·광도 일관성이 특히 중요하지만 기존 메모리 기반 접근법은 왜곡과 회전에 취약해 장면 붕괴가 발생했다. PanoWorld는 회전을 기하학적 재투영으로 처리해 생성 모델이 병진에만 집중하도록 단순화함으로써 복잡한 고도 변화와 조명 변화가 있는 야외 시퀀스에서 구조적 일관성 유지가 가능함을 보였다. 또한 실제 UAV 촬영과 고품질 시뮬레이션을 결합한 World360 데이터셋을 제공해 실세계 물리적 변이에서의 평가 기준을 확장했다.

관련 Figure

Infographic
이 그림은 PanoWorld가 회전-등변성 기반의 운동 분해와 DPRC·GMA를 결합해 다양한 궤적에서 시각적·기하학적 일관성을 유지하는 목적을 시각적으로 압축해 전달한다. 중앙의 파노라마 링과 주변 샘플은 궤적 제어 가능성 및 장면 재현 품질을 동시에 나타내며 연구의 핵심 동기를 직관적으로 보강한다.
PanoWorld의 전체 목표와 결과를 요약한 티저 이미지로서 궤적 제어, 고충실 합성, 물리적 일관성을 강조한 예시 프레임들을 포함한다.

핵심 기여

회전-등변성에 기반한 운동 분해와 파노라마 전용 적응

ERP의 회전-등변성 관찰을 통해 카메라 회전을 기하학적 재투영으로 고정하고 생성 모델이 병진(translation) 기반의 시점 변화와 광도 진화를 학습하도록 문제를 단순화했다. 여기에 LoRA로 사전학습된 비디오 백본을 파노라마 도메인에 적응시켜 극지 왜곡과 수평 래핑 특성을 보존하면서 생성 품질을 유지했다. 이 분해는 회전으로 인한 메모리 불일치를 줄여 장기적 구조 보존에 기여했다.

Dense Panoramic Ray-Conditioning (DPRC)로 뷰 의존적 병진 모션 모델링

픽셀을 구면 레이로 언프로젝션하고 각 레이에 대해 로컬 정규직교좌표계를 구성해 카메라 병진이 레이 강도 변화에 어떻게 영향을 미치는지 명시적으로 인코딩했다. 레이별 변환 행렬(T_ray)과 PRoPE 임베딩을 통해 저해상 잠재격자에 동적 광장(light-field) 진화를 효율적으로 주입해 뷰 의존적 파라랙스와 방사선 강도 변화를 제약했다. 이 방식은 픽셀-레벨 옵티컬 플로우 대신 구면 기하를 직접 사용해 복잡한 3D 경로에서도 방사선 일관성을 확보했다.

Geometry-aware Memory Augmentation (GMA)로 장기 메모리의 기하학적 정렬

메모리의 키·값을 PRoPE 공간으로 투사하여 현재 쿼리 레이와 3D 대응에 기반한 어텐션 검색을 수행하도록 했다. 검색 신뢰도를 최대 어텐션 점수로 계산해 clamp한 값으로 게이팅(g · c)을 형성하고, 이 게이트를 통해 회수된 메모리 특징을 베이스 디퓨전 특징과 가중 융합하여 환상된 콘텐츠의 과잉 사용을 억제했다. Ablation 결과에서 GMA는 시퀀스 길이에 따라 성능 이득이 확대되어 장기적 구조 안정성에 핵심적임이 확인됐다.

World360 데이터셋과 3단계 학습 파이프라인으로 실세계 평가 체계 구축

Rotation Decoupling, Uniform Spatial Resampling, Illumination Filtering으로 구성된 데이터 큐레이션 파이프라인을 통해 70K 실제 클립과 50K 시뮬레이션을 통합한 World360(총 120K 시퀀스)을 구축했다. 학습은 (1) 파노라마 적응(LoRA), (2) DPRC로 뷰 의존 모션 학습, (3) GMA 활성화로 메모리 고정화의 순서로 진행하여 각 구성요소의 역할을 안정적으로 확보했다. 또한 Causal Forcing 기반 증류로 실시간 생성(161프레임을 H20 GPU에서 8초)에 도달하는 확장성을 보였다.

핵심 아이디어 이해하기

문제의 출발점은 ERP가 픽셀 단위의 평면 변형 때문에 회전과 병진이 섞인 상황에서 과거 프레임의 재활용이 왜곡에 취약하다는 점이다. 회전은 왜곡 패턴을 변화시키지만 장면의 기하학적 내용은 보존되므로 회전을 기하학적 재투영으로 처리하면 생성 모델이 병진으로 인한 파라랙스와 방사선 강도 변화에만 집중할 수 있다. 이 분해는 메모리 검색의 정렬 문제를 단순화해 장기 일관성을 확보할 수 있는 출발점을 제공한다.

핵심 해결 원리는 픽셀을 구면상의 단위 레이로 매핑하고 각 레이에 대해 로컬 직교좌표계를 구성해 카메라 병진이 레이의 관측값에 미치는 영향을 명시적으로 모델링하는 것이다. 이 과정에서 레이별 변환 행렬을 계산해 카메라 중심의 병진 성분을 로컬 축으로 투사함으로써 각 레이가 관찰 강도 변화를 어떻게 겪는지 수치적으로 표현한다. 이러한 레이 단위의 기하 정보는 PRoPE라는 위치 임베딩으로 인코딩되어 디퓨전 트랜스포머 블록에 주입되어 시간·광도·기하 일관성을 제약한다.

달라지는 점은 기존의 시각적 메모리 검색이 이미지-평면 기반 워핑이나 명시적 3D 포인트에 의존해 회전과 극단적 왜곡에서 실패하던 상황과 대비된다. PanoWorld는 회전을 재투영으로 처리하고 메모리와 쿼리를 동일한 PRoPE 공간으로 정렬함으로써 어텐션 기반 검색이 기하학적 대응을 직접 이용하게 했다. 이로 인해 장면 재방문 시 픽셀 수준의 색·구조 불일치가 줄어들고 긴 시퀀스에서도 PSNR과 FID 등 지표가 유의하게 개선되는 결과가 도출되었다.

방법론

전체 접근 방식은 회전 분해, DPRC 기반의 액션 스트림, GMA 기반의 메모리 스트림을 하나의 디퓨전 백본에서 삼중 스트림으로 융합하는 구조로 구성된다. 입력으로 초기 파노라마 프레임과 목표 카메라 궤적을 받아 먼저 회전 분리를 통해 모든 프레임을 동일한 heading으로 정렬하고, 그 상태에서 병진만을 반영하는 레이 기반 조건을 DPRC에 공급한다. 메모리 은행은 PRoPE로 인코딩된 키·값을 저장하고 어텐션으로 검색된 특징을 신뢰도 게이트로 융합해 최종 디퓨전 특징을 보정한다.

DPRC는 각 잠재격자 픽(i,j)를 구면 좌표(θ,φ)로 전환하고 식(1)-(2)의 매핑으로 카메라-공간 레이 r_cam을 얻는다. 각 레이에 대해 로컬 직교기저 R_loc을 구성하고 이를 통해 T_ray를 형성해 전체 카메라 병진을 로컬 레이 좌표로 투사한다. 투사된 값은 PRoPE로 임베딩되어 디퓨전 트랜스포머의 블록들에 시간적으로 주입되며, 이로써 생성 흐름은 레이 단위의 기하·광도 제약을 따르게 된다.

GMA는 메모리 키·값을 PRoPE 공간으로 정렬해 현재 쿼리의 레이와 직접적인 3D 상관관계를 기반으로 어텐션을 수행한다. 어텐션에서의 최대 affinity를 기준으로 신뢰도 c를 계산하여 clamp한 뒤 가중 게이트 g·c로 회수된 메모리 특징을 베이스 특징과 선형적으로 융합한다. 이 절차는 관측되지 않은 영역에서 메모리 의존에 따른 환상을 억제하고 고신뢰도 레이에서만 역사 정보를 강하게 반영하도록 한다.

학습은 세 단계로 분리되어 안정성을 확보한다. 1단계에서 LoRA로 백본을 파노라마 도메인에 적응시켜 ERP 특유의 위도 가중 손실(Latitude-Aware Reconstruction Loss)을 사용해 극지 왜곡의 재구성 중요도를 반영한다. 2단계에서는 LoRA를 고정한 채 DPRC 액션 스트림만 학습하여 병진 의존 파라랙스를 집중적으로 학습한다. 3단계에서는 GMA를 활성화해 메모리 기반 장기 일관성을 학습시키며 Confidence-Guided Gating으로 환상 생성 위험을 억제한다.

주요 결과

메인 벤치마크 결과에서 PanoWorld는 480p 조건에서 FID 27.64, FID_pole 47.21, FID_equ 26.00을 달성해 비교 대상들보다 낮은 분포 간 거리 값을 기록했다. 전반적인 화질 지표로 QA qual. 4.0202를 획득하여 구조적 무결성과 시각적 현실감 측면에서 우수함이 확인되었다. Imagine360은 미학 점수가 높은 편이나 기하학적 안정성은 낮아 본 방법과 대비됐다.

궤적 제어 성능은 PSNR 기준으로 모든 시간 창에서 우위를 보였고 480p에서 PSNR 20-25 구간 평균 22.83±3.73을 기록해 Matrix-3D와 OmniRoam보다 높은 경로 일치성을 보였다. ViPE를 통한 역구성 평가에서도 생성 비디오로부터 재추정한 궤적이 GT와 가장 밀접하게 정렬되어 안정적 제어 성능이 검증되었다. Ablation에서는 GMA의 포함이 장기 PSNR 향상에 일관된 영향을 주었고 Random Memory 변형은 오히려 성능 저하를 야기했다.

실시간 확장 결과에서는 Causal Forcing 기반의 증류로 161프레임 파노라마 비디오를 단일 NVIDIA H20 GPU에서 8초에 생성하는 성능을 보고했으며 전체 모델의 생성 시간(약 4분 48초)과 비교해 수십 배 속도 향상이 확인되었다. 이 속도는 Matrix-3D(약 16.5분)와 OmniRoam(약 31분)보다 현저히 빠르며 품질 손실이 크지 않은 점이 강조되었다.

관련 Figure

Other
이 비교 그리드는 높이 변화나 복잡한 궤적에서 Matrix-3D가 흔들림과 블러를 보이고 OmniRoam이 수직 지시를 따르지 못하는 반면 PanoWorld가 구조적 안정성을 더 잘 유지하는 정성적 증거를 제시한다. 패치 확대 인서트는 세부 구조(건물 모서리, 나뭇잎 등)에서의 일관성 차이를 강조해 GMA의 장기 메모리 효과와 DPRC의 뷰 의존 모델링 효과를 연결한다.
다양한 궤적(앞, 위, 뒤로 이동)에 대한 정성적 비교 결과 그리드로서 Imagine360, Matrix-3D, OmniRoam과 PanoWorld의 생성 프레임을 나란히 배치해 시각적 차이를 보여준다.

Chart
3D 궤적 플롯은 PanoWorld로부터 생성된 비디오를 ViPE로 역구성했을 때 GT 궤적과의 정렬이 타 방법보다 더 밀착되는 정량적·시각적 증거를 제공한다. 이 이미지는 궤적 제어 성능(PSNR 기반 평가)과 직접적으로 연결되어 있으며 PanoWorld의 강인한 경로 추종 특성이 수치뿐 아니라 궤적 형태에서도 확인된다는 점을 보강한다.
비교 대상들(Matrix-3D, OmniRoam, Ours)의 카메라 궤적 재구성 플롯으로 ViPE로부터 복원한 경로와 GT 경로의 정렬 상태를 보여준다.

기술 상세

전체 아키텍처는 Wan2.2-5B 백본을 기반으로 LoRA로 파노라마 도메인에 적응시킨 뒤 시각적 self-attention 스트림, DPRC 액션 스트림, GMA 메모리 스트림을 병렬로 운용하는 삼중 스트림 DiT 구조를 채택한다. 각 스트림의 출력은 공통 잠재 공간에서 합쳐져 디코더로 복원되며, 잠재 공간에서의 연산은 계산 비용을 제어하면서 레이 기반 조건을 유지하게 설계되었다. LoRA 적용은 베이스 가중치를 고정한 채 저차원 분해 행렬만 학습하도록 하여 파노라마 특화 적응을 저비용으로 달성한다.

구체적 수식 중 구면 레이 매핑은 식(1)-(2)로 기술된다: θ= \frac{\pi}{2}-\frac{i+0.5}{H}\pi, φ=\frac{j+0.5}{W}2\pi-\pi이며 카메라-공간 레이 r_cam=[-cosθ cosφ, -cosθ sinφ, -sinθ]^⊤ 이다. 여기서 i,j는 격자 인덱스, H,W는 잠재 높이·너비이다. 입력 픽 좌표(i,j)를 θ,φ로 변환하면 단위 레이 방향을 얻고 이 방향은 로컬 z축(z_loc)으로 사용되어 로컬 직교기저 R_loc를 구성한다. 예를 들어 H=64, W=128인 잠재에서 중앙 픽(i=31,j=63)는 θ·φ 계산을 통해 특정 방향 벡터를 얻고 이 벡터가 로컬 좌표계의 z축이 된다. 이 흐름은 입력 좌표→각도 변환→단위 벡터 계산→로컬 기저 구성→T_ray 형성의 순서로 동작하며 T_ray는 카메라 병진을 해당 레이 로컬 축으로 투사해 파라랙스 효과를 정량화한다.

메모리 신뢰도 게이팅은 식(6)로 정의된 최대 어텐션 affinity를 clamp하여 신뢰도 c를 산출하고, 식(7)에서 F_final=F_base+(g·c)·F_mem의 형태로 융합된다. 여기서 Q_iK_j^⊤/√d에 softmax를 적용한 결과의 최대값이 c를 형성하므로 검색된 메모리의 유사도가 높을수록 게이트가 열리고 낮을수록 메모리 영향이 억제된다. 이 구조는 관측되지 않은 영역에서 메모리 의존으로 인한 환영을 방지하며 재방문 시 일관된 색·구조를 보장한다.

학습 손실로는 파노라마에 특화한 위도 가중 재구성 손실을 사용한다: L_stage1=E[cos(θ)·|ϵ-ϵ_θ(x_t,t)|^2]. 여기서 cos(θ)는 위도에 따른 중요도 가중치로 극지의 왜곡 민감도를 반영한다. 트레이닝 파이프라인은 각 스테이지에서 일부 파라미터를 고정해 모듈 간 간섭을 줄이고 수렴을 안정화하는 전략을 따른다.

관련 Figure

Diagram
아키텍처 도식은 입력으로 초기 파노라마와 궤적을 받아 회전 분리를 수행한 뒤 레이 조건이 DPRC로 들어가고 PRoPE 기반 키·값이 GMA 메모리 은행에 저장되는 일련의 데이터 흐름을 명확히 드러낸다. 이 그림은 모듈 간 파라미터 고정과 단계적 학습 파이프라인(stage 1-3)의 연계 방식이 어떻게 설계되었는지를 기술적 세부와 함께 직관적으로 보강한다.
PanoWorld 네트워크 아키텍처 다이어그램으로 입력, DPRC 액션 스트림, GMA 메모리 스트림, 그리고 디퓨전 백본의 삼중 스트림 통합을 보여준다.

실무 활용

PanoWorld는 UAV나 로봇 플랫폼에서 얻은 파노라마 입력과 목표 궤적으로부터 장기적 장면 모델링과 궤적 제어가 가능한 합성 비디오를 생성할 수 있어 시뮬레이션 기반 테스트, 합성 데이터 증강, 가상 촬영 및 로봇 경로 시각화에 활용 가능성이 크다. World360과 공개 코드가 제공되어 연구자와 엔지니어가 모델 재현 및 확장이 가능하다. 실시간 증류 기능은 대화형 시뮬레이터나 키-입력 기반 원격 조종 인터페이스에 적용 가능한 실무적 이점을 제공한다.

무인기(UAV) 비행 시나리오의 가상 검증과 예측 테스트를 위한 현실적 합성 데이터 생성
드론 촬영 계획과 가상 카메라 트레이닝을 위한 고충실 파노라마 시뮬레이션
대규모 파노라마 데이터가 부족한 파노라마 기반 인식 모델의 데이터 증강

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Photo
연속 프레임 샘플은 증류된 실시간 생성기가 원본 입력과 사용자 키 입력 기반 궤적에 따라 높은 프레임 속도로 연속적 파노라마를 생성하는 동작을 직관적으로 보여준다. 이 이미지는 논문에서 보고한 '161프레임을 H20 GPU에서 8초'라는 실시간 성능 주장의 시각적 근거를 보완하며 품질 저하가 크지 않음을 예시로 제시한다.
실시간 생성 데모 프레임들을 연속으로 배치한 이미지로서 Causal Forcing 증류를 통한 빠른 생성 결과를 예시로 보여준다.

키워드

panoramic video generation(파노라마 비디오 생성)diffusion model(확산 모델)equirectangular projection(등각원통 투영)memory augmentation(메모리 보강)trajectory control(궤적 제어)LoRA(저순위 적응)

용어 해설

등각원통 투영(Equirectangular Projection (ERP)): — 360° 파노라마를 평면 격자로 펼치는 투영 방식으로 위도·경도 좌표를 그대로 이미지 픽셀에 대응시킨다. 이 방식은 수평 방향 연속성과 극지점 왜곡을 발생시키며, 본 논문에서는 이러한 왜곡 특성이 회전에 대해 등변환(rotation-equivariant) 특성을 보인다는 점을 활용하여 회전과 병진을 분리하는 핵심 전제 역할을 한다.
회전 등변성(Rotation-Equivariance): — 회전 변환이 입력에서 발생할 때 출력의 표상에서 그 변환이 일관되게 반영되는 성질로서, ERP에서는 회전이 왜곡 패턴을 바꾸지만 장면의 기하학적 내용은 보존된다. 본 논문에서는 이 성질을 이용해 카메라의 회전을 기하학적 재투영으로 처리하고 실제 생성 모델은 병진(translation)만 학습하도록 단순화한다.
파노라마 광선(레이)(Panoramic Ray): — ERP 픽셀을 구면상의 단위 방향 벡터로 매핑한 표현으로서 각 픽셀은 장면을 향하는 광선으로 취급된다. 이 표현은 카메라 이동에 따른 방사선의 기하학적 변화를 직접 계산할 수 있게 하며 DPRC와 GMA에서 시간-공간 일관성을 유지하는 주요 단위로 사용된다.
투영 위치 인코딩(PRoPE (Projective Positional Embeddings)): — 레이 기반 좌표와 선형 투영을 결합한 위치 임베딩으로, 픽셀별 구면 방향과 카메라 포즈를 함께 인코딩하여 주어진 시점과 역사 프레임 간의 3차원 대응을 보장한다. 본 논문에서는 DPRC의 동작 조건과 GMA의 키·값 생성에 같은 공간을 제공해 일관된 어텐션 기반 검색을 가능하게 한다.
기하 인지 메모리 보강(GMA): — 역사 프레임의 특징을 PRoPE 공간으로 투사하여 현재 쿼리의 레이와 3D 대응 관계로 검색·융합하는 메커니즘이다. 어텐션 기반 검색과 신뢰도 기반 게이팅을 결합해 이전 관측의 기하학적·광도학적 일관성을 복원하고 장기적 장면 지속성을 보장한다.

PanoWorld: 회전-등변성 기반의 실제 환경 파노라마 영상 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드