AutoWeather4D: G-버퍼 듀얼 패스 편집을 통한 자율 주행 비디오 날씨 변환

기존의 AI 영상 변환 기술은 희귀한 날씨 데이터를 대량으로 학습해야 하거나 영상 하나를 처리하는 데 수 시간이 걸리는 한계가 있었다. 이 논문은 별도의 최적화 과정 없이 기하학적 구조와 조명을 분리해 제어함으로써, 눈, 비, 안개 등 다양한 주행 환경 데이터를 빠르고 정교하게 생성할 수 있는 실용적인 데이터 엔진을 제안한다.

기존 비디오 생성 모델은 대규모 데이터셋에 의존하며, NeRF나 3DGS 기반 편집 방식은 정적인 장면을 가정하거나 장면마다 수 시간의 최적화가 필요해 동적인 자율주행 환경에 적용하기 어렵다. 특히 기하학적 구조와 조명이 얽혀 있어 비가 올 때 노면의 반사나 밤의 전조등 효과를 개별적으로 제어하기 힘들다는 한계가 존재한다. AutoWeather4D는 영상을 G-버퍼(깊이, 법선, 알베도 등)로 먼저 분해하는 피드포워드 방식을 채택한다. 이는 딥러닝의 임베딩 개념처럼 장면의 속성을 벡터화된 레이어로 나누는 것과 유사하며, 이를 통해 최적화 과정 없이 즉각적으로 장면의 3D 구조를 파악한다. 분리된 구조 위에서 Geometry Pass는 노면에 눈이 쌓이거나 물웅덩이가 생기는 물리적 변화를 계산하고, Light Pass는 전조등과 같은 광원의 빛이 3D 공간에서 어떻게 전달되는지 수학적으로 산출한다. 마지막으로 VidRefiner가 이 물리적 가이드를 바탕으로 노이즈를 제거하고 사실적인 질감을 입혀, 구조적 일관성과 시각적 화질을 동시에 확보한다.

전체 파이프라인은 피드포워드 G-버퍼 추출로 시작된다. Pi3 백본을 사용하여 단안 비디오에서 시공간적으로 일관된 상대 깊이를 예측하고, 확산 기반 역 렌더러를 통해 알베도, 법선, 거칠기 등의 재질 속성을 추출한다. [입력 영상 → 4D 재구성 및 역 렌더링 → G-버퍼 생성 → 장면의 물리적 속성 정의] 이후 Geometry Pass에서 SPH(Smoothed Particle Hydrodynamics) 커널을 적용해 눈 쌓임을 시뮬레이션하거나, FBM(Fractional Brownian Motion) 노이즈를 3D 월드 좌표계에 투영해 물웅덩이 경계를 생성한다. [G-버퍼 속성 → 물리 시뮬레이션 연산 → 수정된 재질 속성 → 날씨 요소가 반영된 기하 구조] 마지막으로 Light Pass에서는 Cook-Torrance BRDF 모델을 사용하여 전조등과 가로등을 3D 스포트라이트로 모델링하고 조도를 계산하며, 확산 모델 기반의 VidRefiner가 물리적 제약 조건을 유지하며 세부 질감을 정제한다. [수정된 G-버퍼 및 광원 정보 → 분석적 렌더링 → 확산 기반 정제 → 최종 고화질 비디오]

Waymo Open Dataset의 120개 장면을 대상으로 실험한 결과, AutoWeather4D는 Cosmos-Transfer2.5나 WAN-FUN 2.2와 같은 대규모 생성 모델과 대등한 시각적 품질(CLIP Score 0.2586)을 보이면서도 훨씬 뛰어난 구조적 일관성(Vehicle 3D Detection IoU 0.915)을 기록했다. 실행 속도 측면에서 G-버퍼 듀얼 패스 편집은 V100 GPU 기준 영상당 수 초에서 수 분 내에 완료되어, 장면당 약 1시간이 소요되는 기존 최적화 기반 방식보다 압도적으로 빠르다. 특히 비(Rain) 시뮬레이션의 경우 코어 컴포넌트 처리에 단 2.2초가 소요된다. 데이터 증강 실험에서는 AutoWeather4D로 생성한 악천후 데이터를 학습에 사용했을 때, ACDC 데이터셋에서 mIoU가 1.24%, mAcc가 2.96% 향상되어 자율주행 인지 모델의 강건성을 높이는 효과적인 데이터 엔진임을 입증했다.

전체 아키텍처는 분석(Analysis), 합성(Synthesis), 정제(Refinement)의 3단계로 구성된다. 분석 단계에서는 Pi3를 이용한 4D 재구성과 확산 기반 역 렌더링을 결합해 동적 객체를 포함한 장면의 G-버퍼를 획득한다. 기하학적 일관성을 위해 상대 깊이를 LiDAR 포인트 클라우드 또는 카메라 높이 사전 지식(Camera Height Prior)과 정렬하여 절대 미터법 스케일로 변환한다. Light Pass에서는 복사 전달 방정식(RTE)과 Henyey-Greenstein 위상 함수를 사용하여 안개의 체적 산란을 모델링한다. 국부 광원은 3D 공간상의 좌표를 추정하여 스포트라이트로 배치하며, Cook-Torrance BRDF를 통해 재질별 반사 특성을 계산한다. VidRefiner는 확산 모델의 잠재 공간 초기화 시 물리 렌더링 결과를 앵커로 사용하여 구조적 붕괴를 방지하고, 렌더링된 출력에서 추출된 경계 정보를 조건으로 입력해 기하학적 한계를 유지한다.

차량 물보라(Vehicle Splash)와 같은 복잡한 유체 역학이 포함된 극한의 롱테일 동적 상호작용을 캡처하는 것은 여전히 도전적인 과제이다. 또한 신호등과 같이 스스로 빛을 내는 물체(Self-illuminating objects)의 경우 전용 방출 채널이 없어 주변 조명이 어두워질 때 함께 어두워지는 현상이 발생한다.