Waymo World Model: 자율주행 시뮬레이션을 위한 초현실적 생성형 세계 모델

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

자율주행 시스템의 안전성을 확보하기 위해서는 실제 도로에서 겪기 힘든 희귀한 시나리오에 대한 학습과 검증이 필수적이다. Waymo는 Google DeepMind의 Genie 3를 기반으로 한 'Waymo World Model'을 도입하여 이 문제를 해결했다. 이 모델은 텍스트 프롬프트나 주행 입력을 통해 카메라 영상과 라이다 데이터를 동시에 생성하며, 토네이도나 야생 동물 출현과 같은 극단적인 상황을 초현실적으로 시뮬레이션한다. 이를 통해 Waymo Driver는 실제 사고가 발생하기 전에 가상 세계에서 수십억 마일의 주행 경험을 쌓으며 안전성을 극대화한다.

배경

자율주행 센서(LiDAR, Camera) 데이터 구조에 대한 이해, 생성형 모델 및 세계 모델(World Model)의 기본 개념, 자율주행 시뮬레이션 및 엣지 케이스 검증의 중요성

대상 독자

자율주행 시스템 엔지니어, 생성형 AI 연구원, 로보틱스 시뮬레이션 전문가

의미 / 영향

생성형 AI가 단순 이미지 생성을 넘어 물리적 세계의 시뮬레이터 역할을 수행함으로써 자율주행 기술의 안전성 검증 비용을 낮추고 배포 속도를 가속화할 것이다. 특히 라이다와 카메라의 멀티모달 생성 기술은 자율주행 시뮬레이션의 사실성을 한 단계 끌어올리는 계기가 될 것으로 보인다.

섹션별 상세

Waymo World Model은 Google DeepMind의 가장 진보된 범용 세계 모델인 Genie 3 아키텍처를 자율주행 도메인에 맞게 최적화하여 구축됐다. 대규모 비디오 데이터셋으로 사전 학습된 Genie 3의 방대한 세계 지식을 활용하여 실제 함대에서 관찰되지 않은 희귀한 상황까지 시뮬레이션할 수 있는 능력을 갖췄다.

카메라 영상뿐만 아니라 라이다(LiDAR) 데이터를 동시에 생성하는 멀티모달 출력을 지원한다. 2D 비디오의 시각적 세부 사항과 라이다의 정밀한 3D 깊이 정보를 결합하여 4D 포인트 클라우드 형태의 초현실적인 환경을 구현하며, 이는 Waymo 하드웨어 제품군에 특화된 포스트 트레이닝을 통해 달성됐다.

주행 동작 제어, 장면 레이아웃 제어, 언어 제어라는 세 가지 강력한 제어 메커니즘을 제공한다. 엔지니어는 간단한 텍스트 프롬프트로 날씨나 시간대를 변경하거나, 특정 주행 입력을 주어 '만약 다른 경로로 갔다면'과 같은 반사실적 시나리오를 생성하여 모델의 반응을 테스트할 수 있다.

일반적인 대시캠이나 모바일 기기로 촬영된 영상을 멀티모달 시뮬레이션 환경으로 변환하는 기능을 포함한다. 노르웨이의 설산이나 미국의 국립공원 영상 등을 입력하면 Waymo Driver의 센서가 해당 장면을 어떻게 인식할지 시뮬레이션함으로써 현실 세계의 복잡성을 가상 세계로 즉각 이식한다.

효율적인 추론 변형 모델을 통해 품질 저하 없이 긴 주행 시나리오를 대규모로 시뮬레이션할 수 있는 확장성을 확보했다. 복잡한 교차로나 좁은 골목길 주행처럼 긴 시간이 소요되는 장면에서도 물리적 일관성을 유지하며 연산 비용을 획기적으로 줄여 대규모 안전 벤치마크 구축을 가능하게 한다.

실무 Takeaway

실제 데이터 확보가 어려운 롱테일 시나리오를 생성형 AI로 구축하여 자율주행 모델의 엣지 케이스 대응 능력을 획기적으로 높일 수 있다.
카메라와 라이다 데이터를 동기화하여 생성함으로써 센서 퓨전 시스템의 신뢰성을 가상 환경에서 직접 검증하고 학습에 활용할 수 있다.
언어 프롬프트를 활용한 시뮬레이션 제어는 엔지니어가 특정 기상 조건이나 도로 상황을 즉각적으로 생성하고 테스트하는 효율적인 워크플로우를 제공한다.