SceneAligner: 3D 기반 현장 환경에서의 바닥계획 로컬라이제이션

람다형 구조의 래스터화된 floorplan과 불특정 뷰의 이미지 모음 간 정합 문제를 3D 재구성으로 해결한다. gravity-aligned 3D 재구성으로 얻은 2D 밀도 맵을 바탕으로 floorplan과의 전역 정합을 2D similarity transform으로 수행하므로, 대규모 건물이나 래스터화된 도면에서도 강인한 로컬라이제이션이 가능하다. 단일 뷰에서도 기존 방법 대비 성능이 크게 향상되며, interior/exterior 간의 일관된 정합도 가능하다.

1. 기존 Floorplan Localization은 벡터화된 floorplan과 discretized pose 공간의 순차 탐색에 의존하고, 대규모/래스터화된 도면에서 한계가 있다. 2) SceneAligner은 unconstrained 이미지 모음을 이용해 gravity-aligned 3D 씬을 재구성하고 이를 2D density map으로 투영해 floorplan의 추상 표현으로 삼는다. 3) density map과 floorplan 간의 cross-modal 대응은 2D foundation model(DINOv3)을 LoRA로 미세조정해 학습하며, feature matching 손실(Lfeat), 좌표 회귀(Lregr), 토폴로지(Ltopo), 기하(Lgeo)로 구성된다. 4) 신뢰도 기반 필터링과 mutual NN 매칭 후 RANSAC으로 2D similarity transform를 추정하고 이를 통해 3D 포인트와 카메라 포즈를 floorplan 좌표계에 정합한다. 5) 이 접근은 sparse-view에서도 강인하며, 실세계 내 다양한 건축 구조에서 바닥계획 로컬라이제이션의 정확도와 범용성을 크게 향상한다.

1. 전체 아키텍처: 입력 이미지 I = {I1,...,IN}에서 π3 또는 VGGT 같은 3D foundation 모델로 3D 포인트 Pc_i와 상대 포즈를 얻고, GeoCalib으로 중력 방향 벡터를 예측한 뒤 reference 프레임으로 변환하여 g를 추정한다. 그 후 Gram-Schmidt로 y축과 일치시키는 rigid 변환을 적용해 gravity-aligned 3D 씬 Pg_i를 얻는다. 2) 2D Density Map 추출: Pg_i를 서로 다른 신뢰도 점수로 정제하고 수직 구조를 남겨 xz-평면에 직교 투영한 뒤 셀 단위로 포인트 수를 카운트하여 density map D를 생성한다. 3) Cross-modal 학습: Density map D와 floorplan F를 인코딩하는 공유 인코더 E(DINOv3 ViT-B/16)에 LoRA를 주입하고, L = λfeat Lfeat + λregr Lregr + λtopo Ltopo + λgeo Lgeo로 학습한다. 4) 매칭 및 정합: 상위 50%의 자신감 포인트를 사용해 MNN으로 교차 매칭 후 RANSAC으로 2D similarity transform를 추정하고, 이를 통해 3D 점 Pg*과 카메라 포즈를 floorplan 좌표계에 정합한다.

C3 데이터셋에서의 정합 성능: Angular Recall @5°/10°/20°/30°는 65.91/75.93/80.23/83.08, Positional Recall @5%/10%/20%은 50.87/65.58/76.08, Ang+Pos @(30°,20%)은 73.58이다. 비교 대상인 LoFTR은 4.67/8.31/15.11/22.80, 1.09/4.27/13.96/3.07, C3Po는 24.45/36.90/48.59/54.89, 16.60/28.59/42.12/32.96, DINOv3는 14.25/19.59/28.87/35.33, 6.75/14.23/26.67/18.28이다. PCK 및 RMSE에서도 Ours가 가장 높은 수치를 기록했다(예: PCK @1% 20.42, @3% 58.13, @5% 69.87, @10% 79.94, @15% 83.64, @30% 90.45, RMSE 0.0776). Structured3D indoor 단일-view 로컬라이제이션에서도 LASER/F3Loc/UnLoc 대비 상회하는 성능을 보인다(예: Ours 3.5/37.5/53.8/51.6). 추론 시간은 Ours(≤10)에서 143.7 ms로 C3Po 대비 빠르고, 150뷰 전체 처리 시 223.4 ms로 경쟁력 있다.

3D 재구성: π3 또는 VGGT를 이용해 3D 포인트 Pc_i와 relative camera poses를 추정한다. Gravity 방향은 GeoCalib로 per-image 예측 후 각 포즈로 변환해 medoid를 선택하고, Gram-Schmidt를 이용해 이를 수직 방향과 정렬한다. Density map 생성: Pg*의 outlier 제거(신뢰도 점수 기반) 및 수직 구조 유지로 gravity-aligned xz 평면에 orthographic projection 후 gamma 보정으로 D ∈ R^{H×W×1}를 얻는다. Cross-modal 학습: D와 floorplan F를 입력으로 하는 DINOv3(ViT-B/16) 기반 encoder에 LoRA를 주입하고, Lfeat, Lregr, Ltopo, Lgeo의 합손실로 학습한다. 학습 및 데이터: 140K density maps/샘플로 구성된 커리큘럼 학습; MR( Mixed-Resolution ) 전략과 0.7–1.0의 스케일 크기로 다중 해상도 학습 실시. Inference: 150개 이상 이미지 분할 처리 시 chunking으로 GPU 메모리 관리; density map에서 상위 50%의 신뢰 포인트를 추출하고 mutual NN으로 매칭 후 RANSAC으로 2D 변환 추정. 한 번의 변환으로 3D 포인트 및 카메라 포즈를 floorplan 좌표계로 변환한다.

3D 재구성 모델의 오차는 density map 및 정합 품질에 영향을 미친다. density map은 글로벌 컨텍스트가 부족한 sparse-view에서 구조적 불확실성(예: 단일 입구, 대칭 구조)으로 인해 정합이 불안정해질 수 있다. rasterized floorplan의 비정형 구성에서 cross-modal 매칭의 한계가 존재한다.