Sensor2Sensor: 자율주행용 Cross-Embodiment 센서 변환

자율주행 시스템의 안전 검증은 다양한 센서 구성을 필요로 한다. 실제 운전 데이터는 센서 구성의 제약으로 데이터가 제한적이다. Sensor2Sensor는 monocular dashcam 영상에서 실제 AV 로그에 상응하는 다중 카메라 이미지와 LiDAR를 생성함으로써 데이터 부족 문제를 완화하고, 외부 데이터의 활용성을 높인다.

출발점: monocular dashcam 영상은 360도 다중 뷰와 LiDAR 같은 다중 모달로 확장되기 어렵다. 기초 데이터는 paired training이 부족한 반면, 4DGS를 통해 AV 로그로부터 4D 장면 재구성을 수행하고, 이를 바탕으로 dashcam 뷰를 합성한다. 1) 4DGS 재구성으로 paired 데이터 확보; 2) VAE+U-Net 기반의 multi-view diffusion으로 8-view 이미지와 LiDAR를 동시 생성; 3) cross-sensor attention으로 이미지와 LiDAR 간 시각-기하 일관성 확보; 4) DAgger로 장면의 시퀀스적 일관성 향상. 이로 인해 monocular 입력에서도 multi-view 로그를 생성하는 cross-embodiment 센서 변환이 가능해진다.

단계1: Synthetic Sensor Simulation via 4DGS. 3DGS를 확장해 다중 선형/변형 객체를 포함한 4D 장면을 구성하고, 360도 뷰 포즈를 가진 가상 dashcam 렌더링으로 paired training 데이터를 생성한다.ExtrinsicIntrinsics를 real dashcam 분포에서 샘플링하여 데이터 다양성을 확보한다. 단계2: Multi-modal Diffusion Model for Sensors. 이미지 분기와 LiDAR 분기로 구성된 Latent Diffusion 기반 모듈은 각 모달리티에 대한 VAE와 U-Net을 두고, Cross-view Attn과 Cross-sensor Attn으로 뭉쳐진 토큰 시퀀스 간 정보를 교환한다. Third-party Camera Condition으로 dashcam 영상도 조건으로 입력한다. 단계3: Auto-regressive Video Generation. xt를 이용해 Ct, Lt를 예측하고, t-1의 생성 결과를 Conditioning으로 사용해 시퀀스 생성을 수행한다. DAgger를 도입하여 rollout을 확장하는 동안 모델의 출력을 점진적으로 GT에 맞추도록 학습한다.

다중 뷰 이미지 생성에서 Fixed-Camera-to-AV 데이터셋 기준 Ours의 FID는 6.47, PSNR은 19.06, SSIM은 0.539, LPIPS는 0.316으로 최적이다. 비디오 생성은 FVD가 278.12로 최적이며, 프레임 단위 PSNR은 22.42, SSIM은 0.623, LPIPS는 0.186이다. LiDAR 생성에서 Chamfer Distance는 8.68로 개선(개선율 13.37%)이며, X-Drive 대비 더 적은 노이즈와 더 정확한 강체 및 배경 기하를 보여준다. 인간 평가에서도 Dashcam 데이터에서 이미지 선호도 83.46%, LiDAR 68.08%로 상위이다. In-the-wild 일반화에서도 Dashcam/Internet 데이터 모두에서 Ours가 X-Drive를 압도한다. ablation으로 VC가 FID를 6.47로 개선했고, LiDAR와 이미지의 공동 학습이 LPIPS를 0.316으로 향상시켰다. DAgger 도입은 Front-view FVD를 278.12, FID를 21.54로 개선한다.

전체 아키텍처는 두 축으로 구성된다. 첫째, 4DGS를 활용한 synthetic paired data 생성 파이프라인으로 다중 뷰 카메라 8대와 LiDAR를 ground-truth AV 로그와 정합되는 페어 데이터로 재구성한다. 4DGS 렌더링은 8개의 뷰와 LiDAR를 포함하는 3D Gaussian splats를 이용해 다이나믹 오브젝트를 표현하고, Dashcam 인트린식/익스트린식 파라미터를 샘플링한다. 둘째, 다중 뷰-다중 센서 생성을 위한 Latent Diffusion 기반 모델로, 이미지 분기와 LiDAR 분기가 각각 VAE로 잠재 공간에 매핑되고, Cross-view Attn 및 Cross-sensor Attn 모듈로 두 모달리티 간 정보를 실시간으로 교환한다. Third-party 카메라 조건은 9번째 뷰로 처리되며, 8개의 대상 뷰와 conditioning으로 연결된다. LiDAR는 VAE-생성된 Spin 이미지에 Diffusion을 적용하고, 최종적으로 LiDAR VAE Decoder로 재구성한다. DAgger는 비디오 생성에서 롤아웃 시퀀스를 GT 컨텍스트의 일부로 보정하는 학습 전략으로 사용한다. 학습은 128 TPU에서 AdamW 최적화, EMA 가중치, conditioning masking, 이전 프레임 conditioning의 확률적 드롭 등을 포함한다.

장기 롤아웃에서 시간적 드리프트가 남으며, 고해상도/장시간 시퀀스의 장기적 일관성은 여전히 도전이다. 더 강건한 장기 시퀀스 백본이나 더 넓은 시간 컨텍스트를 활용하는 확장 연구가 필요하다.