WildCity: 렌더링·시뮬레이션·공간 지능을 위한 실세계 도시 규모 테스트베드

도시 전역에서 연속적이고 장시간의 시각·라이다 관측을 확보하면 대형 공간에 대한 일관된 기하학적 표현과 장기 기억 기반의 에이전트 평가가 가능하다. 기존 데이터셋은 주로 짧은 클립이나 합성 데이터에 머물러 실제 도시 환경의 조명 변화, 동적 객체, 포즈 불확실성 같은 문제를 포괄하지 못했다. WildCity는 실주행 로그로 이러한 현실적 난제를 포함한 대규모 멀티모달 코어 데이터를 제공해 도시 규모의 재구성·시뮬레이션·공간 지능 연구를 실질적으로 전진시킬 기반을 제공한다.

문제 출발점은 도시 규모 스트리트뷰 재구성에서 관측의 연속성은 확보되지만 각 프레임 간 겹침이 좁고 센서 노이즈·조명 변화가 누적되어 전통적 NeRF 계열이나 단일 장면 최적화로는 전역적 기하 일관성을 유지하기 어렵다는 점이다. 특히 좁고 긴 궤적에서는 포즈 드리프트와 관측 희박으로 인해 이미지 유사도만을 최적화하면 화면 품질은 높지만 실제 3D 깊이와 구조는 왜곡되는 현상이 발생한다. 따라서 장거리 일관성을 확보하려면 포즈·지면·배경에 대한 구조적 제약을 통합하는 접근이 필요하다.

전체 접근은 3D Gaussian Splatting 기반 표상에 리그-인식 포즈 최적화, 하늘 모델 분리, 지면 정규화, 외삽 렌더 수리 루프를 연계하는 것이다. 리그-인식 포즈 최적화는 키프레임별 ego pose와 카메라별 rig extrinsic을 분리해 동시에 최적화함으로써 다중 카메라 리그의 강체 제약을 보존하고 전역적 정합을 개선한다. 하늘은 무한 배경으로 경량 MLP로 예측해 가우시안 필드와 합성함으로써 먼 거리 플로팅 아티팩트를 줄이고, 지면 정규화는 카메라-프레임 y축 좌표의 분산을 샘플링 단위로 페널티해 도로 표면의 수직 정렬성과 불투명도를 강제한다. 외삽 일반화는 Difix3D+를 이용한 렌더-수리-증강 루프를 통해 외삽 시점에서 발생하는 기하적 결함을 시각적으로 보정하고 보수된 뷰를 재학습 데이터로 합쳐 가우시안 파라미터를 재최적화한다.

정량 실험에서 제안된 파이프라인은 단기(0.5k)와 장기(2.5 km) 모두에서 기존 3DGS·H-3DGS·CityGS보다 PSNR·SSIM 등 2D 지표와 깊이 L1 기준에서 전반적인 균형 성능을 보였다. 특히 장거리(2.5 km)에서 제안 방법은 PSNR 23.14 dB와 D-L1 6.62 m로 구조적 붕괴를 효과적으로 억제했으며, 피드포워드 기하 우선 기법(VGGT-Long)은 장거리 드리프트 누적으로 초기화 대체가 실패하는 경향을 보였다. 정성 결과는 제안 방식이 얇은 폴·원경 구조와 지면 텍스처 보존에서 우수하며, Difix3D+ 기반 수리가 외삽 시각적 품질을 추가로 개선함이 확인되었다.

전체 아키텍처는 3D Gaussian Splatting 표현을 기본으로 하며 각 가우시안은 위치·스케일·회전·투명도·시점 의존 색을 파라미터로 가진다. 렌더링은 투영된 가우시안들에 대한 깊이 정렬과 알파 블렌딩 합성식 C=Σ c_i α_i ∏(1-α_j)을 적용해 이미지 색을 계산한다. 포즈 최적화는 파라미터 θ(가우시안)와 키프레임 ego pose T^ego_t, 카메라 rig extrinsic T^rig_c를 공동 최적화하는 목적식을 사용하며 초기 포즈에 대한 거리 항(λ_pose d(·,·))으로 전역 정합을 유도한다. 학습 확장은 Gaussian 파라미터를 멀티-GPU로 샤딩하고 통계·그래디언트를 동기화해 per-GPU 메모리를 고정하면서 billion-level 원소까지 확장 가능하도록 구현되었다.

논문에 명시된 한계로는 자동 생성된 시맨틱 마스크가 경계 오류와 희귀 카테고리의 오분류를 일부 포함할 수 있다는 점이 있다. GPS-기반 앵커링으로 수평 드리프트는 매우 작게 억제되었지만 수직 방향에서는 킬로미터당 센티미터 수준의 잔여 포즈 오류가 존재한다고 보고되었다. 외삽 수리 모듈(Difix3D+)는 시각적 품질을 개선하지만 비용이 높고 기본 재구성 품질이 약할 경우 허구적 콘텐츠를 생성할 위험이 있다.