SAT3DGen: 단일 위성 영상에서의 종합 거리 수준 3D 씬 생성

위성 영상은 넓은 커버리지와 저비용으로 다량의 공간 정보를 제공하지만, 거리 수준의 정밀한 3D 구조를 얻기엔 한계가 있다. Sat3DGen은 geometry-first 접근으로 기하 제약과 다양한 시점 보강을 통해 3D 매핑의 정확도와 시각적 현실감을 크게 끌어올려, semantic-map-to-3D, 다중 카메라 비디오 생성, 대규모 메싱, 그리고 DSM 추정 같은 응용을 실현한다.

출발점: 단일 위성 이미지의 시점 차이가 크고 ground-truth 깊이 정보가 부족해 기하가 불안정한 문제를 가정한다. 기존 proxy 기반 방법은 시야 간격이 커 경계 부근의 왜곡이 흔하다. 해결 원리: geometry-first로, Lgrav, Ldepth, Spatial Tokens, Perspective Training 등 보조损失를 도입해 기하를 제약하고 다중 시점을 보강한다. 달라지는 점: 위성-상대 깊이 규제와 시점 확장으로 3D 모델의 구조적 신뢰도와 경계 품질, Rooftop의 깊이 해석이 개선되고, RMSE 5.20m, FID 19.2 등의 지표에서 SOTA 수준으로 향상된다.

1. 전체 아키텍처: frozen DINO-v3 인코더로 Isat를 2D 토큰 Ftoken(16x16)을 얻고, Spatial Tokens으로 패딩해 Ftoken pad(20x20x1024)로 확장한 뒤, D(토큰→tri-plane)으로 tri-plane 특징 맵 Ftri를 생성한다. tri-plane은 XY, XZ, YZ의 세 차원 평면에 특징을 매핑하고, 3D 쿼트 x에 대해 ϕXY(x), ϕXZ(x), ϕYZ(x)를 샘플링해 h(x)로 합산한 뒤 MLP로 density σ(x)와 color c(x, w)를 예측한다.
2. Illumination-adaptive 렌더링: global illumination(feature fill)와 sky 모듈로 Sky Feature를 구하고, ray marching에서 C(r) = Σ Tk(1 − e^{−σ δ}) c(xk, will) + Tout csky(d) 형태로 합성한다. Perspective 및 Panorama 렌더링도 지원하며, isovalue τ로 marching-cubes를 이용해 mesh를 추출한다.
3. Loss 구성: Lgrav(σ의 고도 증가에 대한 반발 규제), Ldepth(상대 깊이 규제, MiDaS 스타일의 스케일-시프트 보정), LRGB(재구성 및 perceptual 손실 + GAN 손실), Lsky-op/Lsky-L1(하늘 분리 및 색상 fidelity), Ldepth(깊이 규제)와 같은 다중 손실을 가중합한다. 전체 손실 Ltotal = λrgb LRGB + λgrav Lgrav + λsky-op Lsky-op + λsky-L1 Lsky-L1 + λdepth Ldepth 이다.

주요 벤치마크 결과: VIGOR-OOD 세트에서 Sat2Density++ 대비 지오메트리 RMSE가 6.76m에서 5.20m로 감소한다. FID는 40대에서 19로 감소하며, KID는 0.014(×100)로 개선된다. DINO 기반 semantic 유사도는 0.525에 도달한다. DSM 기반의 양정은 MAE 3.47m, RMSE 5.20m, <2.5m의 비율이 62.69%로 개선되었다. 테이블: Table 1 (실사·추정), Table 3(DMS). ablation은 Lgrav의 중요성과 Spatial Tokens, Ldep, Per. Train의 기여를 보여준다. 전체적으로 perspective training의 도입으로 FID 21.6에서 19.2로 개선되고 RMSE도 5.23에서 5.20으로 개선된다.

아키텍처: Sat3DGen은 2D 토큰화로 시작해 pad 토큰으로 경계 확장을 수행하고, DUp( decoder )를 통해 tri-plane 피처맵으로 확장한다. 삼원평면에서 x를 3D 공간에 매핑한 후 ϕXY(x), ϕXZ(x), ϕYZ(x)를 더해 h(x)로 만든 뒤 MLP로 σ(x), c(x, w)를 예측한다. 스카이 모듈은 구면 위상에서의 샘플링으로 d 방향의 색상 csky(d)을 생성한다. Lgrav은 x와 x′ = x + δz 간의 σ 차이가 양의 방향으로 증가하는 경우를 제약하고, Ldepth은 D̂(p)와 D∗(p) 사이의 차이를 스케일-시프트 보정으로 최소화한다. Perspective Training은 panorama에서 얻은 지점들을 perspective로 재투영하는 과정에서 viewpoint 커버리지를 확대한다. 훈련 손실: LRGB(재구성+ perceptual + GAN), Lgrav, Ldepth, Ldepth, Lsky(op) 및 Lsky(L1) 가중합. 데이터: GPS 매칭 위성-팔로우 데이터(VIGOR, Chicago/New York/San Francisco)에서 학습, Seattle(VIGOR-OOD)에서 추론. 메시 추출: marching-cubes의 isovalue τ로 밀도 필드를 메시로 변환.

Pose 불확실성과 로컬 평면 가정, 단일 위성 영상으로는 고도별 지형 차이를 정확히 모델링하기 어려움이 명시된다. 또한 학습은 VIGOR 데이터셋 중심으로 이루어져 있어 다른 지리적 영역으로의 일반화는 추가 연구가 필요하다. Ground-truth DSM의 시간 차이로 인한 불일치 가능성도 인정된다.