Waymo World Model: 자율주행 시뮬레이션을 위한 초현실적 생성형 세계 모델

섹션별 상세

Waymo World Model은 Google DeepMind의 가장 진보된 범용 세계 모델인 Genie 3 아키텍처를 자율주행 도메인에 맞게 최적화하여 구축됐다. 대규모 비디오 데이터셋으로 사전 학습된 Genie 3의 방대한 세계 지식을 활용하여 실제 함대에서 관찰되지 않은 희귀한 상황까지 시뮬레이션할 수 있는 능력을 갖췄다.

카메라 영상뿐만 아니라 라이다(LiDAR) 데이터를 동시에 생성하는 멀티모달 출력을 지원한다. 2D 비디오의 시각적 세부 사항과 라이다의 정밀한 3D 깊이 정보를 결합하여 4D 포인트 클라우드 형태의 초현실적인 환경을 구현하며, 이는 Waymo 하드웨어 제품군에 특화된 포스트 트레이닝을 통해 달성됐다.

주행 동작 제어, 장면 레이아웃 제어, 언어 제어라는 세 가지 강력한 제어 메커니즘을 제공한다. 엔지니어는 간단한 텍스트 프롬프트로 날씨나 시간대를 변경하거나, 특정 주행 입력을 주어 '만약 다른 경로로 갔다면'과 같은 반사실적 시나리오를 생성하여 모델의 반응을 테스트할 수 있다.

일반적인 대시캠이나 모바일 기기로 촬영된 영상을 멀티모달 시뮬레이션 환경으로 변환하는 기능을 포함한다. 노르웨이의 설산이나 미국의 국립공원 영상 등을 입력하면 Waymo Driver의 센서가 해당 장면을 어떻게 인식할지 시뮬레이션함으로써 현실 세계의 복잡성을 가상 세계로 즉각 이식한다.

효율적인 추론 변형 모델을 통해 품질 저하 없이 긴 주행 시나리오를 대규모로 시뮬레이션할 수 있는 확장성을 확보했다. 복잡한 교차로나 좁은 골목길 주행처럼 긴 시간이 소요되는 장면에서도 물리적 일관성을 유지하며 연산 비용을 획기적으로 줄여 대규모 안전 벤치마크 구축을 가능하게 한다.

용어 해설

세계 모델(World Model): — 환경의 물리적 법칙과 객체 간의 상호작용을 학습하여 미래의 상태를 예측하거나 가상 환경을 생성하는 AI 모델이다. 자율주행에서는 차량의 동작에 따른 주변 환경의 변화를 시뮬레이션하여 안전성을 검증하는 데 핵심적인 역할을 한다.
라이다(LiDAR): — 레이저 펄스를 발사하고 반사되어 돌아오는 시간을 측정하여 주변 사물과의 거리 및 형상을 정밀하게 파악하는 센서 기술이다. 카메라와 달리 빛의 조건에 영향을 덜 받으며 정확한 3D 깊이 정보를 제공하여 자율주행의 안전성을 높인다.
롱테일 시나리오(Long-tail Scenario): — 발생 확률은 매우 낮지만 실제 발생했을 때 시스템에 큰 영향을 미치는 희귀한 엣지 케이스 상황을 의미한다. 자율주행에서는 토네이도, 도로 위의 야생 동물 출현 등이 해당하며, 이러한 상황에 대한 대응 능력이 자율주행의 완성도를 결정한다.
반사실적 시뮬레이션(Counterfactual Simulation): — 과거에 실제로 일어난 상황에서 '만약 다른 행동을 했다면 어떤 결과가 나왔을까?'를 가정하여 시뮬레이션하는 기법이다. 자율주행 모델이 특정 상황에서 더 나은 판단을 내릴 수 있었는지 분석하고 학습시키는 데 사용된다.

기술

Genie 3
Waymo Driver
LiDAR
4D Point Clouds
3D Gaussian Splatting

활용 사례

자율주행 엣지 케이스 시뮬레이션
반사실적 주행 분석 및 학습
멀티모달 센서 데이터 합성
실제 영상 기반 시뮬레이션 변환