WildCity: 렌더링·시뮬레이션·공간 지능을 위한 실세계 도시 규모 테스트베드

왜 중요한가

도시 전역에서 연속적이고 장시간의 시각·라이다 관측을 확보하면 대형 공간에 대한 일관된 기하학적 표현과 장기 기억 기반의 에이전트 평가가 가능하다. 기존 데이터셋은 주로 짧은 클립이나 합성 데이터에 머물러 실제 도시 환경의 조명 변화, 동적 객체, 포즈 불확실성 같은 문제를 포괄하지 못했다. WildCity는 실주행 로그로 이러한 현실적 난제를 포함한 대규모 멀티모달 코어 데이터를 제공해 도시 규모의 재구성·시뮬레이션·공간 지능 연구를 실질적으로 전진시킬 기반을 제공한다.

핵심 기여

대규모 실주행 도시 멀티모달 데이터셋 제공

총 18개 로그, 평균 83.7 km, 전체 1507.1 km에 달하는 연속 주행 데이터를 6개 도시에서 수집해 surround-view RGB, LiDAR, IMU, GPS를 동기화한 3.01M 키프레임을 공개했다. 각 로그는 0.5 m 간격의 키프레임 샘플링과 표준화된 5 km 청크 분할을 포함해 재현성 있는 재구성 및 벤치마크 평가를 지원한다. 또한 자동 생성된 지면·하늘·동적 객체 마스크와 3D 트래킹 큐브를 제공해 영역 인식 기반 재구성에 활용 가능하다.

도시 특화 대규모 재구성 베이스라인 제시

도심 스트리트뷰의 긴 경로와 제한된 뷰포인트 오버랩, 포즈 노이즈를 고려해 가우시안 스플랫팅(3DGS) 기반의 리그-인식 포즈 최적화, 하늘 모델 분리, 지면 정규화, 외삽 렌더 수리 루프를 결합한 파이프라인을 설계했다. 멀티-GPU 파라미터 샤딩을 통해 billion-level 프리미티브까지 학습을 확장하도록 구현했고, 재구성 결과를 클로즈드루프 시뮬레이터에 연결했다. 이 파이프라인은 기존 방법들이 장거리에서 겪는 구조 붕괴와 깊이 오차를 크게 완화했다.

시뮬레이터 통합과 도시 규모의 평가 기준 제안

재구성 결과를 도시 디지털 트윈에 통합해 Vision-Language-Action 에이전트가 클로즈드루프 상호작용을 수행하도록 실험했다. 외삽 견고성, 확장성, 불확실성의 세 가지 축으로 한정된 기존 2D 기반 평가를 넘어 기하학적 정확성과 시뮬레이션 유용성을 강조하는 평가 프로토콜을 제시했다. 이를 통해 단순한 렌더 품질이 아닌 시뮬레이터 실용성 중심의 벤치마크 필요성을 명확히 했다.

핵심 아이디어 이해하기

문제 출발점은 도시 규모 스트리트뷰 재구성에서 관측의 연속성은 확보되지만 각 프레임 간 겹침이 좁고 센서 노이즈·조명 변화가 누적되어 전통적 NeRF 계열이나 단일 장면 최적화로는 전역적 기하 일관성을 유지하기 어렵다는 점이다. 특히 좁고 긴 궤적에서는 포즈 드리프트와 관측 희박으로 인해 이미지 유사도만을 최적화하면 화면 품질은 높지만 실제 3D 깊이와 구조는 왜곡되는 현상이 발생한다. 따라서 장거리 일관성을 확보하려면 포즈·지면·배경에 대한 구조적 제약을 통합하는 접근이 필요하다.

방법론

전체 접근은 3D Gaussian Splatting 기반 표상에 리그-인식 포즈 최적화, 하늘 모델 분리, 지면 정규화, 외삽 렌더 수리 루프를 연계하는 것이다. 리그-인식 포즈 최적화는 키프레임별 ego pose와 카메라별 rig extrinsic을 분리해 동시에 최적화함으로써 다중 카메라 리그의 강체 제약을 보존하고 전역적 정합을 개선한다. 하늘은 무한 배경으로 경량 MLP로 예측해 가우시안 필드와 합성함으로써 먼 거리 플로팅 아티팩트를 줄이고, 지면 정규화는 카메라-프레임 y축 좌표의 분산을 샘플링 단위로 페널티해 도로 표면의 수직 정렬성과 불투명도를 강제한다. 외삽 일반화는 Difix3D+를 이용한 렌더-수리-증강 루프를 통해 외삽 시점에서 발생하는 기하적 결함을 시각적으로 보정하고 보수된 뷰를 재학습 데이터로 합쳐 가우시안 파라미터를 재최적화한다.

주요 결과

정량 실험에서 제안된 파이프라인은 단기(0.5k)와 장기(2.5 km) 모두에서 기존 3DGS·H-3DGS·CityGS보다 PSNR·SSIM 등 2D 지표와 깊이 L1 기준에서 전반적인 균형 성능을 보였다. 특히 장거리(2.5 km)에서 제안 방법은 PSNR 23.14 dB와 D-L1 6.62 m로 구조적 붕괴를 효과적으로 억제했으며, 피드포워드 기하 우선 기법(VGGT-Long)은 장거리 드리프트 누적으로 초기화 대체가 실패하는 경향을 보였다. 정성 결과는 제안 방식이 얇은 폴·원경 구조와 지면 텍스처 보존에서 우수하며, Difix3D+ 기반 수리가 외삽 시각적 품질을 추가로 개선함이 확인되었다.

기술 상세

전체 아키텍처는 3D Gaussian Splatting 표현을 기본으로 하며 각 가우시안은 위치·스케일·회전·투명도·시점 의존 색을 파라미터로 가진다. 렌더링은 투영된 가우시안들에 대한 깊이 정렬과 알파 블렌딩 합성식 C=Σ c_i α_i ∏(1-α_j)을 적용해 이미지 색을 계산한다. 포즈 최적화는 파라미터 θ(가우시안)와 키프레임 ego pose T^ego_t, 카메라 rig extrinsic T^rig_c를 공동 최적화하는 목적식을 사용하며 초기 포즈에 대한 거리 항(λ_pose d(·,·))으로 전역 정합을 유도한다. 학습 확장은 Gaussian 파라미터를 멀티-GPU로 샤딩하고 통계·그래디언트를 동기화해 per-GPU 메모리를 고정하면서 billion-level 원소까지 확장 가능하도록 구현되었다.

한계점

논문에 명시된 한계로는 자동 생성된 시맨틱 마스크가 경계 오류와 희귀 카테고리의 오분류를 일부 포함할 수 있다는 점이 있다. GPS-기반 앵커링으로 수평 드리프트는 매우 작게 억제되었지만 수직 방향에서는 킬로미터당 센티미터 수준의 잔여 포즈 오류가 존재한다고 보고되었다. 외삽 수리 모듈(Difix3D+)는 시각적 품질을 개선하지만 비용이 높고 기본 재구성 품질이 약할 경우 허구적 콘텐츠를 생성할 위험이 있다.

실무 활용

WildCity 데이터와 복원 파이프라인은 도시 규모 디지털 트윈 구축·검증과 장기 시뮬레이터 기반 에이전트 연구에 즉시 활용 가능하다. 연속 주행 로그와 영역 마스크는 자율주행 시스템의 장거리 인지·로컬라이제이션·장기기억 연구에 현실적 입력을 제공한다. GitHub 저장소를 통해 코드와 데이터 접근이 가능해 재현성과 실무 적용 실험이 용이하다.

도시 규모의 포토리얼리스틱 시뮬레이터를 이용한 폐쇄 루프 자율주행 정책 학습 및 평가
장거리 뷰 외삽·메모리 기반 내비게이션을 평가하는 Vision-Language-Action 연구
도시 디지털 트윈에서 조명·동적 객체 변화에 대한 로버스트한 재구성 알고리즘 개발

코드 공개 여부: 공개

코드 저장소 보기

키워드

multimodal dataset(멀티모달 데이터셋)city-scale reconstruction(도시 규모 재구성)3D Gaussian Splatting(3D 가우시안 스플랫팅)closed-loop simulator(클로즈드루프 시뮬레이터)pose optimization(포즈 최적화)view extrapolation(뷰 외삽)semantic masks(시맨틱 마스크)

추가 이미지 분석

Other
지도는 서로 다른 도시에서의 도로 구조와 뷰 겹침 정도가 상이함을 나타내며, 이는 동일한 재구성 파이프라인이 도시별로 다른 실패 모드를 가질 수 있음을 의미한다. 이러한 지역별 다양성은 일반화와 포즈 정합성 연구에 중요한 실험 변수가 된다.
데이터 수집 도시별로 재구성에 사용된 경로와 주변 환경을 보여주는 상세 지도 이미지이다.

Other
그림은 데이터 분할 정책(0.5 m 키프레임 샘플링, 5 km 청크)이 재구성 편의성과 비교 가능성을 위해 설계되었음을 보여준다. 표준 분할은 장거리 재구성 실험에서 반복 가능한 벤치마크를 만드는 데 기여한다.
여러 도시에서의 경로를 겹쳐서 보여주며 5 km 세그먼트로 표준화된 데이터 조직을 시각적으로 설명한 그림이다.

Screenshot
이 이미지는 자동 마스크가 대부분의 영역에서 수동 주석과 높은 일치도를 보이며 정량적 mIoU(Overall 91.58%)와 시각적 합치성을 보완한다는 근거를 제공한다. 다만 경계와 희귀 카테고리에서의 소규모 불일치가 남아 있음을 확인할 수 있다.
자동 생성된 시맨틱 마스크와 수동 주석 간의 정성 비교를 보여주는 패널로, mIoU 검증의 시각적 근거를 제시한다.

용어 해설

3D 가우시안 스플랫팅(3D Gaussian Splatting): — 장면을 이방성 가우시안 원소 집합으로 표현하고 각 가우시안을 이미지 평면으로 투영해 뎁스 정렬 후 알파 블렌딩으로 색을 합성하는 렌더링 기법이다. 각 원소는 위치·스케일·회전·투명도·시점 의존 색을 가지며 대형 실외 장면에서 효율적 렌더링과 최적화를 가능하게 한다. WildCity에서는 도시 규모의 스트리트뷰 재구성에서 대규모 프리미티브 관리와 멀티-GPU 분할 학습을 위해 핵심 구조로 사용되었다.
리그 포즈 최적화(Rig Pose Optimization): — 동일 키프레임에서 차량(ego) 좌표계와 카메라 리그 카메라별 extrinsic을 분리해 함께 최적화하는 방법이다. 개별 카메라 독립 최적화로 발생하는 전역 불일치 문제를 완화하기 위해 ego pose와 rig extrinsic을 결합해 최종 카메라 포즈를 계산한다. WildCity는 이 기법으로 다중 카메라 장착 상황에서 전역적 일관성을 확보했다.
Difix3D+: — 기저 재구성으로부터 생성된 외삽 렌더링을 디퓨전 기반 수리·보강하는 모듈로, 깨진 기하학과 플로팅 아티팩트를 시각적으로 개선하기 위해 렌더-수리-재학습 루프를 수행한다. 보수된 뷰는 다시 학습 데이터로 합쳐져 가우시안 파라미터 재최적화에 사용된다. WildCity는 외삽 일반화 품질 향상을 위해 이 모듈을 점진적으로 적용했다.
지면 정규화(Ground Regularization): — 도로·지면으로 식별된 가우시안에 대해 세로축 분산을 제한하고 카메라-프레임의 수직 좌표 분포 편차를 페널티로 도입하는 정규화 항이다. 샘플링한 깊이 슬라이스별로 카메라 y축 좌표 표준편차를 최소화해 도로 표면의 수직 정렬성과 불투명도를 유도한다. WildCity에서는 좁고긴 스트리트뷰에서 도로 기하학이 약한 제약을 보강하는 데 사용되었다.
뷰 외삽(외삽된 시점 렌더링)(View Extrapolation): — 학습 경로에 포함되지 않은 위치·시점에서 장면을 렌더링하는 과제로, 관측이 희박한 도시 영역에서 기하학적 일관성과 시각적 현실성을 유지하는 능력을 측정한다. 외삽에서 발생하는 플로팅 아티팩트와 기하학적 붕괴가 실용적 시뮬레이터 구축의 주요 장애물로 지목된다. 논문은 외삽 품질을 개선하기 위해 Difix3D+와 같은 보정 루프와 더 강한 기하학적 프라이어 필요성을 논증했다.

WildCity: 렌더링·시뮬레이션·공간 지능을 위한 실세계 도시 규모 테스트베드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 기사

한 대의 듀얼 어안 카메라로 만든 360도 BEV 데이터셋

OctoSense 멀티센서 로봇 데이터셋

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

한 대의 듀얼 어안 카메라로 만든 360도 BEV 데이터셋

OctoSense 멀티센서 로봇 데이터셋