SpheRoPE: Spherical RoPE로 구현한 제로샷 무최적화 360° 파노라마 생성

현행 파노라마 생성 방법은 고품질 360° 데이터를 요구하는 파인튜닝 또는 다단계 최적화를 필요로 하여 계산 비용과 지연이 크다. 이 논문은 사전학습된 diffusion transformer의 위치 인코딩과 가이던스만을 변경해 학습과 최적화 없이 ERP의 위상 제약을 충족시키는 방법을 제시한다. 결과적으로 백본의 모든 내재적 기능을 보존하면서 실시간에 가까운 텍스트-투-파노라마 및 비디오 생성이 가능해졌다.

360° ERP 파노라마는 구면을 2D 평면에 사영하므로 수평 경계의 완전한 주기성과 극점에서의 모든 열의 수렴이라는 두 가지 위상적 불변성이 존재한다. 기존 RoPE 기반 Transformer는 2D 유클리드 격자 가정을 전제로 하므로 열 인덱스 0과 W가 다른 임베딩을 갖게 되어 수평 주기성을 깨뜨리고, 극에서는 모든 열이 동일 포인트로 수렴해야 하는 요구를 만족시키지 못한다. 이로 인해 생성된 ERP 이미지에 경계 실(seam)이나 극왜곡이 나타난다. Spherical RoPE는 RoPE 스펙트럼을 주파수 대역으로 분할하고 저주파와 고주파에 서로 다른 인코딩을 적용해 이러한 위상 문제를 해결한다. 저주파 대역에서는 각 토큰의 열·행 인덱스를 구면의 위도·경도로 변환한 뒤 3D Cartesian 좌표 X,Y(및 스케일 R)를 계산하여 좌표를 두 채널에 교차 배치함으로써 경계 주기성과 극 수렴을 수학적으로 보장했다. 고주파 대역에서는 인접 픽 간 위상 일관성을 유지하기 위해 각 채널을 기본 주파수의 정수 고조파로 반올림(harmonic quantization)하여 수평 경계에서 위상 정합을 확보했다. 이 분할적 접근은 전역 레이아웃을 담당하는 저주파를 보존하면서도 로컬 텍스처를 담당하는 고주파의 국부적 연속성을 유지하게 해 모델의 원래 시각적 표현 능력을 손상시키지 않는다.

문제 설정은 ERP의 두 가지 위상 제약, 즉 수평 주기성(C1)과 극 수렴(C2)을 명시적으로 만족시키면서 텍스트 조건성도 유지하는 것이다. 먼저 원본 RoPE 채널마다 ω_i와 기본 주파수 ω_fund=2π/W_tokens의 비율 k_i를 계산하고, k_i가 최소 한 주기를 완성하고 정수 근처인지의 조건으로 스플릿 인덱스 i_split를 결정한다. 그 결과 연속된 주파수 분할이 생성되고 해당 분할에 따라 서로 다른 인코딩 정책을 적용한다. 저주파( i ≥ i_split )에 대해서는 각 토큰의 행 r과 열 c를 위도 θ(r)와 경도 φ(c)로 변환한 뒤 X(r,c)=(cosθ cosφ+1)R, Y(r,c)=(cosθ sinφ+1)R 형태의 Cartesian 좌표를 계산해 짝수·홀수 주파수 슬롯에 교차 삽입함으로써 열의 감싸기(wrap)와 극에서의 수렴을 수치적으로 만족시켰다. 고주파( i < i_split )에 대해서는 각 채널의 주파수를 round(k_i)·ω_fund로 양자화하여 α_i(c)=c·ĥω_i 형태의 선형 인코딩을 유지하되 경계에서 정확한 2π 주기성을 보장했다. 추가로 Semantic Distortion CFG는 각 디노이징 스텝에서 세 가지 노이즈 예측 ε_cond, ε_uncond, ε_geo를 계산하고 ε_hat = ε_uncond + w_sem·(ε_cond - ε_uncond) + γ·(ε_geo - ε_cond) 형태로 결합해 의미적 충실성과 기하학적 유도를 독립적으로 조절하도록 구성했다. 구현 측면에서는 원본 모델의 세로 RoPE 축과 시간 축은 변경하지 않고 가로 축에만 스펙트럼 분할과 좌표 대체를 적용하여 백본의 입력·토크나이저·조건화 파이프라인과 완전 호환되게 설계했다.

정량 평가에서 FLUX.2 백본을 사용한 제로샷 설정이 ODI-SR 데이터셋의 일부 지표에서 최상위 성능을 달성했다. 구체적으로 FLUX.2 기반의 구성은 논문 표에서 FAED 25.40과 멀티뷰 KID/IS 등에서 경쟁력 있는 값들을 보였고 전역 왜곡과 경계 불연속성(Discontinuity Score)에서 우수한 수치로 보고되었다. 비디오 평가에서는 LTX 2.3 백본을 통한 제로샷 파이프라인이 SphereDiff-20 및 Stress-20 벤치마크에서 시간적 안정성, 영상 품질, CLIP 기반 텍스트 정렬 등 여러 지표에서 높은 점수를 얻었다. 사용자 연구에서는 320건의 블라인드 쌍비교에서 논문 방법이 대부분의 경쟁 기법 대비 전반적 선호와 텍스트 정합성 측면에서 우위를 차지했다. 구성 요소 절단 실험에서 Spherical RoPE 단독 적용은 경계 불연속 문제를 해결했으나 일부 전역 품질 지표(FAED)를 악화시켰고, SD-CFG 단독 적용은 전역 품질을 개선했지만 경계 봉합 문제를 완전히 해소하지 못했으며 두 구성 요소를 결합할 때 전체 성능이 균형을 이루는 것으로 보고되었다.

전체 아키텍처 변경은 RoPE의 가로 축 인코딩에 국한되어 백본의 다른 모듈과 가중치는 유지된다. 가로 토큰 수 W_tokens와 세로 H_tokens 관계는 ERP 표준(W=2H)을 전제로 하며, 각 열 인덱스 c는 φ(c)=2π c / W_tokens − π로, 각 행 인덱스 r는 θ(r)=π r/(H_tokens−1) − π/2로 변환된다. 저주파 채널에서는 θ와 φ를 이용해 X,Y 좌표를 계산하고 이 좌표를 RoPE의 even/odd 슬롯에 교차 배치해 좌표 중심의 거리·위상 정보를 주입한다. 수식적으로 X(r,c)=(cosθ(r)cosφ(c)+1)R, Y(r,c)=(cosθ(r)sinφ(c)+1)R로 계산되며 R은 스케일 종속 반지름이다. 고주파 채널에서는 각 채널의 주파수 ω_i를 기본 주파수 대비 비율 k_i로 표준화한 뒤 ĥω_i=round(k_i)·ω_fund를 사용해 α_i(c)=c·ĥω_i 형태의 선형 주파수 인코딩을 유지함으로써 국부적 텍스처 위상 정합을 확보한다. Semantic Distortion CFG는 세 방향 노이즈 예측을 결합하는데, 최종 예측은 ε_uncond에 의미성 스케일 w_sem와 기하학 스케일 γ로 조정된 차분 항을 더한 선형 조합으로 산출된다. 실험 세팅에서는 ODI-SR(1,200 장의 ERP 파노라마)와 SphereDiff-20 / Stress-20 비디오 프롬프트 세트를 사용했고, 정량 평가는 FAED, DS, FID, KID, IS, CLIP Mean 및 VBench의 시간·주제 일관성 지표를 포함했다. 추가로 LLM 기반 지각 평가와 인간 사용자 연구를 수행해 정성적 품질을 보완했다.

Spherical RoPE만 단독 적용하면 전역 구조 제약은 해결되지만 일부 전역 품질 지표(논문에서는 FAED 증가로 보고됨)가 악화되는 경향이 있다. 고주파를 고조파로 양자화하면 수평 주기성은 확보되지만 해당 서브스페이스에서는 극 수렴(C2)을 완전하게 만족하지 않으며 이 제한은 저주파의 지배적 영향에 의해 완화되는 것으로 보고되었다. 논문은 이러한 트레이드오프를 SD-CFG와 결합해 보완했으나 여전히 구성 요소별 파라미터(w_sem, γ 등)에 민감성이 존재함을 실험적으로 지적하고 있다.