CM-EVS: Complete Scene Coverage를 위한 Sparse Panoramic RGB-D-Pose 데이터셋

현대의 3D 시각 학습은 메트릭 3D 자산에서 샘플링된 관측에 의존한다. 그러나 기존 자산은 완전한 장면 커버리지를 보장하는 파노라마 학습 인터페이스를 직접 제공하지 못한다. CM-EVS는 COVER를 통해 비학습 기반의 ERP 뷰 큐레이션을 제공하고, 36,373개의 ERP 프레임을 1,275개 실내 장면에서 확보해 학습 시 비중복성·기하적 일관성·재현 가능성을 강화한다. 외부 파노라마도 동일 스키마로 인코딩되며, 추적 가능한 출처 로그를 포함한다. 결과적으로 파노라마 3D 학습에서 비효율적 중복과 깊이 충돌 문제를 줄이고, 검증 가능한 데이터 공급 체계를 제시한다.

1. 문제 정의: 3D 자산은 4π 시야를 포괄하는 파노라마 RGB-D-포즈 관측을 학습 데이터로 사용할 때, 중복과 깊이 충돌을 피하며 비축적 커버리지를 달성하기 어렵다. 2) 해결 원리: COVER는 후보 ERP 풀에서 그리드 방식으로 뷰를 선택하고, 이미 관찰한 기하를 v의 ERP 프레임으로 워핑(warp)하여 Hv를 구성한다. 새로 보이는 Nv와 충돌 Cv를 계산하고, st(v) = Gt(v) − λLt(v)로 점수를 매겨 다음 후보를 선택한다. 3) 변화점: 이 방식은 훈련 없이도 고정 예산에서 커버리지-충돌 trade-off를 개선하며, 예로 Blender indoor, HM3D, ScanNet++에서 중간 규모 장면당 약 25프레임으로 4π 커버리지를 달성한다. 이는 기존의 랜덤, 단일 뷰, 또는 깊이 충돌 회피 방식 대비 효율적이다.

단락 1: 문제 설정. 3D 장면 S와 가능한 뷰 P ⊂ R^3에서 φ(v, S) ∈ {0,1}으로 유효성을 판단하고 Pφ를 얻은 후 예산 K에 대해 max_V⊆Pφ, |V|≤K of O(v; S) 를 목표로 Max-k-Cover를 정의한다. 단위 프레임은 ERP RGB, range-depth, pose를 포함한다. 단락 2: conflict-aware warping oracle. t 단계에서 Hv(Ct−1의 ERP)와 Qv(Dprobe)로 각 후보 v의 글로발 가시성과 차이를 계산하고, Ev, Nv, Cv를 도출한다. Gt(v) = |Nv|/|Ωv|, Lt(v) = |Cv|/|Ωv|, st(v) = Gt(v) − λLt(v)로 점수를 산정한다. δ는 깊이 오차 허용치의 비율이다. 단락 3: 이론적 보장과 알고리즘. Lemma 1은 |∆b t(v) − ∆t(v)| ≤ ϵt + ηLt(v)를 가정하고, λ ≥ η일 때 f(VK) ≥ (1 − 1/e)f(V∗) − Σ(2ϵt + 2λγt)임을 보장한다. Algorithm 1은 seed v0에서 시작해 K−1 라운드 반복, warping으로 Hv를 갱신하고 st(v)를 최대화하는 vt를 선택한다. 단락 4: 파이프라인 및 어댑터. Phase 0: asset normalization, Phase 1: 후보 생성(그래드, 높이 계층) 및 φ 필터, Phase 2: budgeted greedy(저해상도 프로브 및 고해상도 렌더링). Phase 2의 출력으로 per-frame ERP RGB-depth-pose와 provenance 로그를 생성한다.

주요 실험 결과는 아래와 같다. CM-EVS의 indoorscore 코어는 36,373 ERP 프레임, 1,275 씬으로 구성되며, Outdoor은 TartanGround 및 OB3D에서 재인코딩된다. 각 프레임은 RGB, metric range depth, pose를 포함하고, per-step 로그를 제공한다. 프레임당 깊이 분포는 Blender indoor에서 0.330m 이상, HM3D/ScanNet++는 약 1.4–1.9m에 집중한다. 4π 커버리지는 6뷰n 뷰로 달성되며, 1개의 씬당 중간값 약 25뷰로 커버리지를 달성한다. Swapped 비교에서 λ=0.35일 때 커버리지-충돌 트레이드오프가 안정적으로 유지된다. 고정 예산 케이스에서의 주요 수치: Random-seeded는 cov=0.0096, cov./view=0.0024, conf=0.1192; Single-view probe는 cov=0.0021, cov./view=0.0005, conf=0.1723; Greedy coverage는 cov=0.1055, cov./view=0.0264, conf=0.0193; Low-conflict only은 cov=0.1025, cov./view=0.0256, conf=0.0164; CM-EVS는 cov=0.1032, cov./view=0.0258, conf=0.0170. λ 스윕에서: λ=0일 때 cov=0.1878, conf=0.1561, λ=0.05에서 cov=0.2824, conf=0.0816, λ=0.10에서 cov=0.3724, conf=0.0388, λ=0.20에서 cov=0.4322, conf=0.0223, λ=0.35에서 cov=0.4127, conf=0.0175, λ=0.50에서 cov=0.3948, conf=0.0162, λ=0.75에서 cov=0.3547, conf=0.0133, λ=1.0에서 cov=0.3343, conf=0.0110. 크로스-소스 열람에서 Blender(0.4127, 0.0138, 0.0175), HM3D(0.3927, 0.0131, 0.0713), ScanNet++(0.7351, 0.0245, 0.0103).

단락 1: 아키텍처 구성. CM-EVS 파이프라인은 asset normalization, candidate generation, budgeted greedy로 이루어진다. 단락 2: 핵심 메커니즘. warping oracle에서 Ct−1로 Cv를 구하고, Qv와 Hv를 비교해 Ev/Nv/Cv를 산정한다. Gt(v) = |Nv| / |Ωv|, Lt(v) = |Cv| / |Ωv|, st(v) = Gt(v) − λLt(v)이다. 단락 3: 차별점. 4π 커버리지 달성에 특화된 conflict-aware 재정렬로 커버리지를 유지하면서 충돌을 줄인다. 단락 4: 구현 세부. Phase 0~Phase 2의 adapters를 통해 Blender indoor, HM3D, ScanNet++를 다루고, outdoor는 re-encoded하는 방식으로統一 스키마를 유지한다. δ는 0.5%의 AABB 대각선 비율이며, 프로덕션에서 τ=1%, m=2의 gain-gradient 조기 종료를 사용한다.

Limitations 섹션에 기술된 바와 같이, 본 연구의 평가는 curator 계층(커버리지 및 깊이-충돌 통계)에 국한되며, downstream 태스크 정확도(ERP 깊이 추정, NVS, 월드-모델 프리트레이닝)까지 확장되지는 않았다. HM3D/ScanNet++ 프레임은 원 라이선스 조건에 따라 재생성되어 redistribution되지 않는다. Outdoor 프레임은 원 Trajectory를 재인코딩한 스키마이므로 per-step provenance 로그가 제공되지 않는다.