Weights & BiasesAI/ML

Wayve CEO Alex Kendall: 자율주행을 위한 엔드투엔드 AI 구축

Wayve의 Alex Kendall이 HD 지도 없이 카메라와 엔드투엔드 딥러닝만으로 작동하는 자율주행 시스템의 구축 과정과 비전을 공유합니다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

자율주행은 복잡한 추론 문제이며, HD 지도나 수많은 센서 대신 엔드투엔드 딥러닝과 월드 모델을 통해 범용성을 확보하는 것이 핵심이다. 로보택시 시장보다 매년 생산되는 1억 대의 일반 차량에 AI를 탑재하는 것이 더 큰 기회이다.

배경

자율주행 기술이 기존의 규칙 기반 시스템에서 딥러닝 기반의 엔드투엔드 방식으로 전환되는 시점에 Wayve의 창업 스토리를 다룹니다.

대상 독자

자율주행 기술 연구자, AI 엔지니어, 로보틱스 및 모빌리티 산업 관계자

의미 / 영향

Wayve의 접근 방식은 자율주행 기술이 특정 지역의 인프라에 종속되지 않고 전 세계 어디서나 작동할 수 있는 가능성을 입증했다. 이는 고가의 센서 장비 없이도 일반 양산차에 자율주행 소프트웨어를 탑재할 수 있게 하여 자율주행의 대중화를 앞당길 것이다. 또한, 로보틱스 분야 전반에서 엔드투엔드 학습과 월드 모델의 중요성이 더욱 커질 것으로 예상된다.

챕터별 상세

01:42

Wayve의 시작과 엔드투엔드 철학

Wayve는 2017년 캠브리지의 임대 주택에서 150만 달러의 자본금으로 시작되었다. 기존 자율주행 방식(AV 1.0)이 HD 지도와 복잡한 규칙에 의존했던 것과 달리, Wayve는 카메라 입력에서 제어 출력까지 하나의 신경망으로 처리하는 엔드투엔드 딥러닝 방식을 채택했다. 이는 자율주행을 단순한 제어 문제가 아닌 복잡한 추론과 의사결정의 문제로 정의했기 때문이다. 결과적으로 지도 없이도 새로운 환경에 적응할 수 있는 범용성을 확보하는 토대가 되었다.

AV 1.0은 인프라와 지도에 의존하는 방식이며, AV 2.0은 데이터 기반의 학습형 시스템을 의미합니다.

06:10

첫 번째 프로토타입과 강화학습의 한계

초기에는 온폴리시 강화학습을 통해 차량이 스스로 차선을 유지하도록 학습시켰다. 차량이 도로를 이탈할 때마다 사람이 개입하여 핸들을 조작하는 방식으로 데이터를 수집했으며, 단 10번의 개입만으로 차선 유지 기능을 학습하는 데 성공했다. 하지만 실제 도로에서 모든 상황을 온폴리시로 테스트하는 것은 안전상 불가능하다는 결론에 도달했다. 이후 오프라인 강화학습과 모방 학습으로 패러다임을 전환하여 안전성과 확장성을 동시에 확보했다.

온폴리시 학습은 에이전트가 현재 정책에 따라 직접 행동하며 학습하는 방식입니다.

10:37

런던 도로 환경의 복잡성과 학습 효과

Wayve는 샌프란시스코보다 훨씬 무질서하고 복잡한 런던 도로를 주요 학습지로 선택했다. 런던은 수많은 보행자, 자전거 이용자, 좁은 도로 등 예측 불가능한 요소가 많아 모델의 견고함을 키우기에 최적의 장소였다. 규칙 기반 시스템으로는 대응하기 어려운 복잡한 시나리오를 데이터로 학습함으로써 모델의 일반화 능력을 극대화했다. 이러한 환경에서의 학습 덕분에 별도의 훈련 데이터가 없는 500개 이상의 도시에서도 제로샷 주행이 가능해졌다.

16:15

언어 모델과 자율주행의 결합

Wayve는 자율주행 모델에 언어 이해 능력을 통합한 VLA(Vision-Language-Action) 모델을 개발했다. 이를 통해 차량이 자신의 운전 행동을 텍스트로 설명하거나, 사람의 복잡한 명령을 이해하여 주행 스타일을 변경할 수 있게 되었다. 특히 반대편 차량이 전조등을 깜빡이는 것과 같은 사회적 신호를 텍스트 데이터와의 연계를 통해 더 정확하게 학습하는 성과를 거두었다. 이는 자율주행 시스템의 해석 가능성을 높이고 사용자 맞춤형 주행 경험을 제공하는 핵심 기술이 되었다.

VLA 모델은 시각 정보와 언어 정보를 결합하여 행동을 결정하는 멀티모달 모델입니다.

34:28

월드 모델 GAIA를 통한 시뮬레이션

실제 도로에서 겪기 힘든 위험 상황이나 희귀한 케이스를 학습하기 위해 생성형 월드 모델인 GAIA를 구축했다. GAIA는 과거 주행 데이터를 바탕으로 현실적인 가상 시나리오를 생성하며, 모델이 가상 세계에서 '꿈을 꾸듯' 다양한 상황을 시뮬레이션하며 학습하게 한다. 이를 통해 사고 데이터나 극단적인 기상 조건에서의 대응 능력을 안전하게 확보할 수 있었다. 단순한 정책 학습을 넘어 세상의 물리적 법칙과 인과 관계를 이해하는 수준으로 모델을 발전시켰다.

월드 모델은 환경의 변화를 예측하고 시뮬레이션할 수 있는 AI 모델입니다.

40:56

알고리즘보다 중요한 인프라와 데이터

딥러닝 기반 자율주행에서 알고리즘 혁신은 전체 노력의 1%에 불과하며, 나머지 99%는 인프라와 데이터 관리에 달려 있다. 데이터의 청결도, 학습 루프의 반복 속도, 안정적인 컴퓨팅 자원 확보가 모델 성능을 결정짓는 실질적인 요소이다. Wayve는 초기부터 이러한 인프라 구축에 집중했으며, Weights & Biases와 같은 도구를 활용해 실험 관리와 평가 효율을 높였다. 하드웨어 플랫폼이 성숙해짐에 따라 AI 모델이 비로소 '안경을 쓴 것처럼' 세상을 명확히 보고 주행할 수 있게 되었다.

언급된 리소스

문서Wayve Official Website

문서Weights & Biases

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 04. 16.수집 2026. 04. 16.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.