SceneFrom3D: 뷰 스케줄링과 객체 수준 제어를 통한 기하 조건 기반 야외 3D 장면 생성

야외 장면은 경계가 없고 구조가 불규칙해 기존의 규칙 기반 카메라 배치나 사용자 제공 경로가 작동하기 어렵다. 이 논문은 입력된 메쉬만으로 앵커 뷰와 보간 경로를 자동으로 스케줄링해 확산 기반 다중 뷰 합성을 가능한 파이프라인을 제시한다. 결과적으로 사용자는 별도 카메라 경로를 설계하지 않고도 객체 수준의 외형 제어와 기하 준수를 갖춘 3D 장면을 얻을 수 있다.

기존의 기하 조건 기반 3D 장면 생성은 다중 뷰 합성과 3D 재구성을 분리하는 세 단계 파이프라인을 사용한다. 이 접근은 강력한 이미지·비디오 확산 사전지식을 활용할 수 있지만 외부에서 제공된 카메라 경로에 크게 의존하므로 야외처럼 경계가 없고 구조가 불규칙한 장면에서는 적절한 뷰를 얻기 어려웠다. SceneFrom3D는 이 약점을 보완하기 위해 뷰 선정 과정을 자동화하고, 생성 과정 전체를 그래프 구조로 조직해 뷰 선택과 생성 순서를 함께 관리한다.

뷰 스케줄링은 세 단계로 구성된다. 첫째, 입력 메쉬의 표면을 균등 샘플링해 각 후보 카메라와 표면 샘플 간의 소프트 가시성 점수를 계산하고 가시성이 낮은 표면을 목표로 앵커 뷰를 반복적으로 초기화한다. 둘째, 초기 앵커 뷰 집합에 대해 포즈 최적화를 수행해 집합의 전체 표면 커버리지를 최대화하면서 카메라가 메쉬 내부로 침입하지 않도록 repulsion 항과 과도한 지면 기울기를 방지하는 tilt 항을 포함한 손실로 정교화한다. 셋째, 앵커 간에 공유 가시성과 충돌 검사를 기반으로 보간 간선을 구성하고 연결성 부족을 보완하기 위해 거리 기반 간선을 소수 추가한 뒤 노드 인덱스에 따라 간선 방향을 정해 비순환 생성 그래프를 완성한다.

정성 결과는 다양한 야외 레이아웃에서 입력 레이아웃과 identity 이미지의 외형 단서를 충실히 반영한 3DGS 장면을 생성했다는 것을 보여준다. 정량 평가는 CLIP Aesthetic, MUSIQ, PSNR-D, Chamfer Distance, F-score 등을 사용해 비교 기법들 대비 우수한 성능을 확보했다고 보고되었고, 표와 그림을 통해 본 논문의 모듈이 전체 파이프라인 성능에 기여함을 확인했다. 소거 연구에서는 tilt 손실이 없으면 카메라가 지면으로 기울어지는 경향이 나타나고 repulsion 손실이 없으면 카메라가 메쉬 내부로 이동하는 문제로 인해 일부 영역이 누락되는 현상이 관찰되었다고 보고되었다.

전체 아키텍처는 뷰 스케줄러, 앵커 뷰 합성기, 비디오 확산 기반 보간기, 그리고 3DGS 최적화 모듈로 구성된다. 뷰 스케줄러는 표면 샘플 {p_n, n_n}에 대해 각 앵커 뷰와의 소프트 가시성 V_{i,n}=V^{fov} V^{dist} V^{front} M^{occ}을 계산하고 집합의 소프트 합 bar{V}n=1\prod_i(1-V{i,n})으로 커버리지를 평가해 카메라를 추가하거나 병합한다. 포즈 최적화는 ℒ_node=ℒ_cov+λ_rep ℒ_rep+λ_tilt ℒ_tilt로 구성되며 ℒ_cov는 평균된 집계 가시성의 음수, ℒ_rep는 카메라 중심과 입력 지오메트리 최소 거리의 안전 마진 위반을 제곱 페널티로 처리하고 ℒ_tilt는 카메라 전방 벡터와 전역 up 벡터의 내적 제곱 평균으로 기울기를 억제한다.

논문은 앵커 뷰 합성에서 한 뷰에 8개를 초과하는 서로 다른 객체 identity를 동시에 처리하면 실패할 가능성이 있다고 명시했다. 또한 글로벌 조명에 대한 명시적 사전이 없어 앵커 뷰 간에 그림자 방향과 크기가 일치하지 않아 3DGS 결과에서 그림자 불일치가 발생할 수 있음을 보고했다. 이러한 한계는 앵커 당 identity 수 제한과 조명 일관성 모델링을 통해 향후 개선할 필요가 있다.