TL;DR
파노라마 이미지는 등각사영으로 인한 위도 의존적 왜곡과 경계 연결 문제를 갖고 있어 일반적인 이미지 생성 기법으로는 3D 장면 구조를 보전하기 어렵다. Canvas360은 깊이 정보를 병렬로 학습하고 경계 인접성을 속도장 수준에서 명시적으로 처리함으로써 파노라마 특유의 기하학을 모델 내부 표현으로 정착시켰다. 이로 인해 스타일 전송, 인페인팅, 아웃페인팅, 편집 같은 인컨텍스트 작업에서 경계 연속성과 기하학적 일관성이 크게 향상되어 실제 응용에서 더 자연스러운 결과가 도출된다.
왜 중요한가
파노라마 이미지는 등각사영으로 인한 위도 의존적 왜곡과 경계 연결 문제를 갖고 있어 일반적인 이미지 생성 기법으로는 3D 장면 구조를 보전하기 어렵다. Canvas360은 깊이 정보를 병렬로 학습하고 경계 인접성을 속도장 수준에서 명시적으로 처리함으로써 파노라마 특유의 기하학을 모델 내부 표현으로 정착시켰다. 이로 인해 스타일 전송, 인페인팅, 아웃페인팅, 편집 같은 인컨텍스트 작업에서 경계 연속성과 기하학적 일관성이 크게 향상되어 실제 응용에서 더 자연스러운 결과가 도출된다.
핵심 기여
기하학 인식 사전학습을 통한 파노라마 표현 학습
대규모 RGB–깊이 페어를 이용해 플로우 매칭 기반 Flow Transformer를 사전학습하여 파노라마의 구면 기하를 내재화했다. RGB와 깊이를 토큰 수준에서 연결하고 3D RoPE 위치 오프셋으로 두 모달리티를 분리하여 각 모달에 대한 독립적 플로우 손실을 적용했다. 이 구조는 전이된 사전학습으로 다운스트림 인컨텍스트 작업에서 공간적 일관성 향상을 가능하게 했다.
속도 원형 패딩으로 경계 일관성 감독
파노라마의 좌우 경계가 구면상에서 인접함을 속도장에 반영하기 위해 경계 열을 유령 열로 추가하고 해당 속도장도 동기화하였다. 패딩된 입력과 목표 속도장에서 플로우 매칭 손실을 계산함으로써 모델이 경계의 래핑성을 학습하도록 유도했다. 이로 인해 0°/360° 경계에서의 이음새와 에지 정렬이 개선되는 효과가 관찰되었다.
유사도 규제를 통한 모달리티 분리 안정화
RGB와 깊이 예측이 과도하게 유사해지는 퇴행을 방지하기 위해 예측 속도장 간 정규화 내적의 제곱을 평균한 ℒ_sim 항을 도입했다. 이 항에 가중치 λ를 두어 전체 손실 ℒ = ℒ_FM + λ ℒ_sim으로 최적화하면서 병렬 생성의 불안정성을 감소시켰다. 결과적으로 암전 현상이나 과도한 어두움 같은 퇴행 사례가 줄어들어 시각적 안정성과 품질이 개선되었다.
1M 규모 Canvas360Dataset으로 통합 인컨텍스트 학습 지원
Matterport3D 기반의 100K 고품질 RGB–깊이 파일럿에서 출발해 스타일 전송 200K, 아웃페인팅 250K, 인페인팅 250K, 편집 200K를 포함한 합계 1M 샘플의 합성 파이프라인을 구축했다. VLM 기반 캡셔닝과 FLUX.2-dev 등 합성 도구를 활용해 대규모의 문맥-대상 쌍을 생성함으로써 통합 파인튜닝을 가능케 했다. 이 데이터셋은 단일 모델로 네 가지 인컨텍스트 작업을 학습시키는 기반 데이터를 제공했다.
핵심 아이디어 이해하기
파노라마 이미지는 구면 공간에서의 장면을 직사각형으로 펼친 표현이기 때문에 좌우 경계의 연속성과 위도에 따른 왜곡을 모델이 인지하지 못하면 생성물에 심각한 기하 불일치가 발생한다. 기존의 관점 이미지용 깊이 제약은 직교 좌표계의 Z축 깊이를 전제로 하므로 파노라마의 반지름 기반 깊이 개념과 직접 호환되지 않는다. 따라서 본문은 깊이 정보를 구면적 맥락에서 병렬로 생성하도록 학습시키고 위치 오프셋으로 토큰을 분리하여 파노라마 특유의 기하를 모델 표상으로 정착시키는 것이 핵심 아이디어임을 내세운다.
방법론
전체 접근은 두 단계로 구성되어 첫 단계에서 100K의 RGB–깊이 페어로 Flow Transformer를 기하 인식 방식으로 사전학습하고 두 번째 단계에서 900K의 인컨텍스트 합성 샘플로 통합 파인튜닝을 수행하는 것이다. 사전학습 시에는 RGB와 깊이의 VAE 후 잠재 토큰을 토큰 차원에서 이어붙이고 3D RoPE에 시간 오프셋을 주어 두 그룹을 위치 공간에서 분리하였다. 플로우 매칭 손실은 각 모달에 대해 독립적으로 적용되고, 전체 목표는 ℒ = ℒ_FM + λ ℒ_sim으로 설정되어 유사성 항이 과도한 모달리티 동화를 억제한다.
관련 Figure
이 다이어그램은 100K RGB–깊이 파일럿에서 시작하여 900K 합성 샘플로 확장하는 데이터 흐름과 사전학습 단계의 병렬 깊이 생성, 파인튜닝 단계의 토큰 레벨 결합 과정을 한눈에 보여준다. 모델 입력 구성과 각 단계에서 적용되는 기법들, 예컨대 velocity circular padding과 토큰 위치 오프셋의 위치 관계가 시각적으로 연결되어 있어 방법론 이해에 직접적인 근거를 제공한다.
Canvas360의 두 단계 학습 파이프라인과 데이터 합성 파이프라인을 도식화한 전체 아키텍처 그림이다.
각 모듈에 사용된 도구와 샘플링 전략이 명시되어 있어 데이터 생성의 자동화와 스케일링 방법을 이해할 수 있다. 예컨대 아웃페인팅은 다양한 카메라 파라미터 샘플링을 통해 관점 마스크를 생성하고 편집 데이터는 VLM과 GroundingDino를 결합해 객체 마스킹을 얻는 흐름이 도식화되어 있다.
네 가지 인컨텍스트 데이터 합성 모듈인 스타일 전송, 아웃페인팅, 인페인팅, 편집의 구체적 생성 절차를 보여주는 플로우 차트이다.
주요 결과
정량 평가는 텍스트-투-파노라마 벤치마크와 파노라마 특화 지표 FAED를 포함하여 수행되었고, Canvas360은 FAED에서 최고 성능을 기록하면서 전반적인 지각 품질 지표들에서 경쟁력 있는 결과를 보였다. 사용자 선호도 조사에서는 경계 연속성, 파노라마 인식도, 전체 품질 항목에서 최고 선호 비율을 획득하여 정량 지표와 정성 비교 모두에서 경계 일관성 향상이 확인되었다. 추가적인 소구성 실험과 제거 실험에서는 병렬 깊이 생성, 위치 오프셋, 유사도 규제의 조합이 시각적 안정성과 경계 품질을 개선하는 데 기여함이 보고되었다.
관련 Figure
이 그림은 모델이 다양한 인컨텍스트 작업을 단일 프레임워크로 처리할 수 있음을 시각적으로 확인시키며 출력물에서 경계 연속성과 기하적 왜곡 보정이 유지되는 양상을 보여준다. 특히 편집과 아웃페인팅 예시에서 추가된 객체가 파노라마 변형을 따르는 점이 논문의 기하 인식 학습 효과를 보강한다.
Canvas360의 적용 예시를 모아 텍스트-투-파노라마, 스타일 전송, 인페인팅, 아웃페인팅, 편집 결과를 시각화한 그림이다.
이 그림은 기존 방법들이 보이는 블러, 경계 단절, 디테일 소실 같은 결함을 정성적으로 드러내며 Canvas360이 경계와 기하학적 왜곡을 더 잘 보전함을 시각적으로 뒷받침한다. 논문 내 정량 지표와 함께 보면 Canvas360의 FAED 개선이 시각적 차이와 일관됨이 확인된다.
다수의 비교 모델과 Canvas360의 질적 결과를 나란히 배치하고 주요 아티팩트를 빨간 상자로 강조한 정성 비교 그림이다.
이 이미지는 패딩 및 깊이 기반 사전학습이 실제 편집 및 복원 작업에서 어떻게 경계와 구조 보존에 기여하는지를 사례별로 보여준다. 특히 아웃페인팅 예에서 기존 기법의 넓은 블러와 비교해 Canvas360의 경계 연속성과 디테일 보전이 두드러지게 나타난다.
인페인팅, 아웃페인팅, 편집에 대한 비교 실험 결과를 나열하여 입력과 여러 베이스라인 및 본 기법의 출력을 비교한 그림이다.
기술 상세
전체 아키텍처는 VAE로 이미지를 잠재 토큰으로 인코딩한 뒤 Flow Transformer 계열의 트랜스포머로 연속 시간 속도장 예측을 수행하는 구조를 사용한다. 입력 시퀀스는 '대상 토큰;문맥 토큰' 형식으로 구성되며 각 토큰 그룹은 3D RoPE 좌표에서 시간 오프셋 T_d 또는 T_c를 더해 서로 다른 위치 영역으로 매핑되어 역할을 구분한다. 플로우 매칭 학습은 Rectified Flow 선형 보간을 사용하여 중간 시점 x_t에서 목표 속도 v = x_1 - x_0를 예측하도록 하고 L2 손실로 최적화된다.
한계점
논문 자체에서 병렬 RGB–깊이 생성은 학습 불안정성을 보일 수 있으며 그 결과 과도한 암화나 아티팩트가 발생하는 사례가 관찰되었다. 이러한 퇴행을 완화하기 위해 위치 오프셋과 유사도 규제를 도입했으나 본 기법들이 모든 지표를 일방적으로 향상시키지는 못한다는 점이 명시되어 있다. 또한 합성 기반으로 확장한 데이터 파이프라인이 실제 포착 데이터의 다양성과 완전하게 동일하지 않기에 도메인 일반화의 한계가 남아 있다.
실무 활용
Canvas360은 파노라마 특화 편집과 콘텐츠 생성 워크플로에서 경계 연속성과 기하학적 일관성을 개선하는 데 실무적 가치를 제공한다. 사전학습된 모델과 대규모 합성 데이터셋은 스타일 전송이나 대형 씬 보수처럼 사용자 입력에 따라 장면 전체를 조정해야 하는 애플리케이션에 직접 적용 가능하다. 공개된 코드 저장소가 있어 연구자와 엔지니어가 모델과 데이터 파이프라인을 재현할 수 있다.
- 실내외 360도 파노라마 사진에서 결손 영역을 자연스럽게 복원하여 부동산 리스팅의 시각 품질을 높이는 용도로 활용할 수 있다.
- 파노라마 기반의 가상 투어에서 특정 소품을 제거하거나 교체하는 편집 작업에 적용하여 구면 왜곡을 유지한 채 장면을 합성할 수 있다.
- 광범위한 스타일 변환 파이프라인에 통합하여 파노라마 전경과 배경 전체에 일관된 스타일을 대규모로 적용하는 자동화 작업에 활용할 수 있다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Flow Matching
- — 연속 시간 생성 모델 학습 방식으로, 노이즈에서 데이터 분포로의 이동을 속도장(velocity field)으로 학습한다. 본문에서는 Rectified Flow 선형 보간을 사용해 중간 시점의 잠재 표현에서 목표 속도장을 예측하고 L2 손실로 학습하였다. 이미지 생성에서 노이즈→데이터 변환을 직접 모델링하며, 파노라마의 RGB와 깊이 병렬 생성에 적용되어 기하학적 제약을 부여하는 핵심 구성이다.
- Equirectangular Projection
- — 360도 파노라마를 직사각형 이미지로 펼친 표현 방식으로 위도에 따른 왜곡이 존재한다. 본문에서는 ERP 특유의 경계 연속성과 위도 의존적 왜곡을 해결하기 위해 속도 원형 패딩과 구면 기하 인식을 적용하였다. 파노라마 편집·생성에서 왜곡 보정과 경계 일관성 확보가 중요한 이유가 된다.
- Velocity Circular Padding
- — 파노라마의 경계 연속성을 명시적으로 학습시키기 위해 경계 열을 유령 열로 복제하고 속도장도 동기화하는 기법이다. 입력의 좌우 끝 컬럼을 서로 매핑하여 트랜스포머가 구면 상의 인접성을 인지하게 하고, 패딩된 속도장에 대해 플로우 매칭 손실을 적용해 경계 일관성을 강화한다. 이로 인해 0°와 360° 경계에서 연결된 구조가 모델 내부에 반영된다.
- Parallel RGB–Depth Generation
- — RGB 이미지와 깊이 맵을 VAE 잠재 토큰 수준에서 이어붙여(토큰 합치기) 동시에 생성하도록 학습하는 전략이다. 각 모달리티에 대해 별도의 플로우 매칭 손실을 적용하고 3D RoPE 위치 오프셋으로 토큰을 분리하여 RGB와 깊이 표현이 충돌하지 않게 한다. 파노라마의 구면 기하를 반영한 공간적 이해와 장면 구조 일관성을 향상시키는 주요 요소이다.
- Similarity Loss
- — RGB와 깊이 예측 속도장 간의 과도한 상관을 억제하기 위해 두 속도장의 정규화 내적의 제곱을 평균한 정규화 항을 추가하는 규제 항이다. 본문에서는 ℒ_sim으로 표기하고 전체 손실에 가중치 λ를 곱해 합산함으로써 모달리티별 표현 분리를 유도하였다. 이 항은 병렬 생성 시 모달리티가 동일해지는 퇴행을 방지한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.