인간 시연을 넘어서는 End-to-End 주행

왜 중요한가

기존 End-to-End 자율주행은 인간 주행 기록의 단일 미래와 제한된 상태 분포를 주된 학습 신호로 사용하므로, 기록에 없는 복구 행동과 안전-critical 상황에 취약할 수 있습니다. DriveZero는 행동 학습에는 폐루프 RL을, 시각 표현 학습에는 대규모 Vision Foundation Model 증류를 적용한 뒤 두 모델을 궤적 증류로 결합합니다. 그 결과 인간 궤적 감독 없이 NAVSIMv1에서 95.3 PDMS, NAVSIMv2에서 57.1 EPDMS, HUGSIM에서 46.6 HD-Score를 기록했습니다.

관련 Figure

Diagram
그림은 DriveRL이 Structured Scene에서 폐루프 RL로 행동 Teacher를 학습하고, DriveVFM이 여러 Vision Foundation Model의 Feature를 하나의 Backbone으로 통합한 뒤, DriveZero가 두 모델을 Camera-Only Planner로 결합하는 흐름을 나타냅니다. 오른쪽 성능 패널에는 DriveRL의 nuPlan 점수와 DriveZero의 NAVSIM·HUGSIM 결과가 함께 배치되어 분리 학습과 증류의 연결 관계를 한눈에 확인할 수 있습니다.
DriveZero의 전체 구조를 세 단계로 요약한 개요 그림입니다.

핵심 기여

DriveRL 혼합 에이전트 폐루프 RL

nuPlan 기록으로 초기화한 장면에서 Log Replay, IDM, 규칙 기반 행동, 학습 정책을 하나의 물리 상태·행동 인터페이스로 결합하고, 최대 196,608개 World를 96개 GPU에서 병렬 실행해 PPO로 5.70M-parameter Teacher를 처음부터 학습합니다.

DriveVFM 다중 Vision Foundation Model 증류

DINOv3, SigLIP2, SAM, Depth Anything V2의 고정된 Feature를 Raw Image에서 하나의 주행용 Backbone으로 통합합니다. Detection·Segmentation·Lane·Depth와 같은 작업별 주석 없이 256×256과 512×512의 두 해상도 단계로 사전 학습합니다.

DriveZero 카메라 전용 궤적 증류

DriveVFM Feature와 Ego Kinematics, Navigation Command를 입력으로 받아 64개 궤적 후보를 생성하고, DriveRL Teacher가 Rollout한 20-step 궤적을 Winner-Takes-All 손실로 학습합니다. 별도 Scoring Branch가 충돌·주행 가능 영역·진행·충돌까지 시간·승차감·진행 방향을 기준으로 후보를 선택합니다.

Goal Augmentation과 Test-Time Search

Goal-conditioned DriveRL에 대체 주행 의도를 입력해 로그에 존재하지 않는 다양한 목표 일관 궤적을 생성합니다. DriveRL 추론 시에는 64개 행동 후보를 5-step Rollout으로 평가해 평균 점수를 93.01에서 93.57로 높입니다.

핵심 아이디어 이해하기

행동 복제 기반 주행 모델은 한 장면에서 인간이 실제로 선택한 하나의 미래 궤적만 정답으로 받습니다. 따라서 여러 행동이 안전할 수 있는 교차로, 기록에 드문 위험 회피, 정책이 스스로 만든 상태에서의 복구 행동은 학습 데이터에 충분히 포함되지 않습니다. DriveRL은 차량이 행동을 실행한 뒤 바뀐 장면을 다시 관측하는 폐루프 RL을 사용해 이 문제를 보완합니다.

DriveRL의 입력은 차량·주변 교통 참여자·지역 Vector Map·신호등 상태를 포함한 구조화된 장면과 두 개의 Goal Point입니다. 정책은 이 정보를 Token으로 인코딩하고 Cross-Attention으로 주변 차량과 지도 맥락을 모은 뒤, 종방향 Jerk와 Tire Steering-Angle Rate의 Beta 분포를 출력합니다. PPO는 샘플 행동을 실행하고 안전·목표 도착·주행 품질 보상을 계산해 정책과 Critic을 함께 갱신합니다.

하지만 실제 배포 모델은 구조화된 상태가 아니라 카메라 이미지를 받아야 합니다. DriveVFM은 여러 고정 Vision Foundation Model의 Feature를 이미지에서 재현하도록 학습하고, DriveZero는 그 시각 표현과 DriveRL의 Rollout 궤적을 결합합니다. 즉 행동은 폐루프 환경에서 먼저 학습하고, 시각 입력 변환은 이미지 사전 학습으로 따로 해결한 뒤, Teacher 궤적을 통해 카메라 전용 Planner로 옮기는 구조입니다.

방법론

DriveRL은 nuPlan 로그에서 초기 장면을 만들되 인간 궤적을 행동 정답으로 사용하지 않습니다. 각 배경 Actor에는 Log Replay, IDM·Front-Vehicle Braking, 또는 Learned Policy가 독립적으로 할당되고, Ego Vehicle은 자신의 행동으로 장면을 진행합니다. Simulator는 Rollout, 차량 동역학, 보상 계산, 장면 편집을 GPU Batch 연산으로 처리하며 96개 GPU에서 Rank당 2,048개 World를 운용합니다.

정책은 Ego·Actor·Map 입력을 각각 256차원 Token으로 바꾸고, Ego Token을 Query로 사용해 Actor와 Map에 Cross-Attention을 적용합니다. Goal Point 두 개는 Sinusoidal Positional Encoding과 공유 MLP를 거쳐 하나의 Goal Feature가 됩니다. 정책 Head는 정규화된 Jerk와 Steering Rate에 대한 독립 Beta 분포를 만들며, 학습 시 Sample하고 평가 시 분포의 Mode를 사용합니다. 정규화된 출력은 Jerk -8~~5 m/s³, Steering Rate -0.8~~0.8 rad/s 범위의 물리 명령으로 변환됩니다.

DriveRL의 보상은 Hard Safety Event, Goal Arrival Bonus, 여섯 개의 Soft Driving-Quality Score를 결합합니다. Soft Score는 안전·규정 준수·승차감 등을 각각 0~1 범위로 평가하며, 여섯 값의 곱을 사용해 모든 품질 조건을 동시에 만족해야 보상이 커지도록 구성합니다. PPO는 할인율 γ=0.99로 110-step Rollout을 학습하고, Critic은 보상 항목별 Value Channel을 합산해 미래 Return을 추정합니다.

DriveVFM은 DINOv3·SigLIP2·SAM·Depth Anything V2의 고정 Feature를 공유 Vision Transformer로 증류합니다. 모델별 Summary Token은 이미지 수준 의미를, 공유 Patch Token은 공간 추론을 담당합니다. DINOv3는 Summary와 Patch 모두, SigLIP2는 Summary만, SAM은 Patch만 감독하며, Summary에는 Cosine Distance, Patch에는 Mean-Squared Error를 사용합니다. 서로 다른 Feature 분포의 영향이 한 모델에 쏠리지 않도록 PHI Standardization을 적용하고, 256×256 해상도 600K Iteration 뒤 512×512 해상도 200K Iteration을 수행합니다.

DriveZero는 네 개 카메라의 Image Feature, Ego Kinematics, Navigation Command를 입력으로 받습니다. DriveVFM Backbone에는 Rank-32 Q/V LoRA Adapter만 학습 가능하게 두고, 64개 Trajectory Query가 각각 20-step 궤적을 생성합니다. Teacher 궤적과 가장 가까운 후보 하나만 Trajectory Loss에 참여시키며, 별도 Scoring Decoder는 여섯 개 PDM 항목을 예측합니다. 추론 시에는 예측된 종합 점수가 가장 높은 후보를 선택합니다.

관련 Figure

Diagram
위쪽 DriveRL 경로는 Structured Scene을 Teacher Policy와 Rollout에 입력해 Teacher Trajectory를 생성합니다. 아래쪽 DriveZero 경로는 Camera Images를 DriveVFM, Transformer Planner, Trajectory Proposals로 처리하며, Teacher Trajectory에는 WTA Loss를, Proposal에는 Score Loss를 연결해 행동 생성과 후보 순위를 각각 학습합니다.
DriveRL Teacher 궤적을 DriveZero의 카메라 기반 궤적으로 증류하는 학습 구조입니다.

주요 결과

nuPlan의 여섯 가지 폐루프 평가에서 DriveRL은 Val14·Test14-hard·Test14-random의 비반응형과 반응형 설정을 합친 평균 93.01을 기록했습니다. Log-Replay Expert를 모든 분할에서 넘었고, Value-Guided Test-Time Action Search를 적용한 DriveRL-TTS는 같은 Checkpoint에서 평균 93.57을 기록했습니다. 후보 수를 8개에서 64개로 늘리면 평균 점수가 93.12에서 93.57로 상승하며, Test14-hard 비반응형은 89.97에서 91.13, Test14-random 비반응형은 94.50에서 95.93으로 높아졌습니다.

NAVSIMv1 navtest에서 인간 궤적 감독이 없는 DriveZero는 94.8 PDMS를 기록했고, SimScale의 237K OOD Simulation Scene을 추가한 DriveZero-Scale은 95.3 PDMS를 기록해 Human Driver의 94.8을 넘었습니다. DriveZero-Scale의 No-Collision은 99.2, Drivable-Area Compliance는 99.4, Ego Progress는 92.5였습니다. NAVSIMv2 navhard에서는 EPDMS 57.1을 기록했으며, Simulation Data를 추가하지 않은 DriveZero의 51.5보다 5.6포인트 높았습니다.

HUGSIM Zero-Shot 평가에서 DriveZero-Scale은 평균 HD-Score 46.6을 기록해 기존 최고 성능 GigaPixel의 38.5보다 8.1포인트 높았습니다. Easy·Medium·Hard 구간에서 이전 최고 성능을 넘었고, 첫 번째 시각 비교에서는 선행 차량의 급제동에 맞춰 감속해 안전 간격을 유지했으며, 다른 비교에서는 마주 오는 차량을 피하면서 차선을 유지했습니다.

Ablation에서 DriveVFM ViT-S는 PDMS 94.41로 DINOv3 ViT-S의 93.88보다 0.53포인트 높았습니다. DINOv3와 SigLIP2에 SAM을 추가하면 93.69에서 94.10으로, Depth Anything V2까지 추가하면 94.41로 상승했습니다. DriveRL 궤적만 사용한 감독은 93.61이었지만 Goal Augmentation을 추가하면 94.41로 올라 인간 궤적 감독의 93.92를 0.49포인트 넘었습니다.

관련 Figure

Diagram
각 사례는 BEV 지도와 Front Camera 영상을 나란히 배치하고, 모델과 인간의 주행 경로를 색상 선으로 표시합니다. 일부 장면에서 Human Driver가 정지하거나 주저하는 동안 DriveZero-Scale은 주변 차량과 거리를 유지하며 더 길고 매끄러운 경로를 선택하는 비교가 포함되어 있습니다.
NAVSIM 장면에서 DriveZero-Scale과 Human Driver의 주행 궤적을 비교한 그림입니다.

Diagram
BEV와 Front Camera 쌍마다 두 모델의 예측 경로가 주변 차량과 도로 경계 위에 겹쳐 표시됩니다. 비교 사례에서 기존 모델의 경로가 다른 차량과 충돌하거나 주행 가능 영역을 이탈하는 반면 DriveZero-Scale의 경로는 충돌을 피하고 도로 경계 안에 머무는 차이가 나타납니다.
NAVSIM에서 DriveZero-Scale과 기존 카메라 기반 SOTA 모델의 궤적을 비교한 그림입니다.

Screenshot
연속 Front Camera 프레임과 BEV가 선행 차량 및 주행 경로를 함께 표시합니다. 기존 모델은 선행 차량의 급제동 뒤에도 속도를 유지해 충돌하는 경로를 따르는 반면, DriveZero-Scale은 제때 감속해 안전 간격을 확보하는 궤적을 생성합니다.
HUGSIM에서 선행 차량 급제동 상황의 DriveZero-Scale과 기존 모델 비교입니다.

Screenshot
장면의 BEV와 Front Camera는 마주 오는 차량과 Ego Vehicle의 상대 위치를 보여주며, 두 모델의 궤적을 색상 선으로 구분합니다. 기존 모델은 차량을 피하려다 연석 쪽으로 밀려나는 반면 DriveZero-Scale은 차선 안에서 작은 횡방향 조정만 수행하는 경로를 유지합니다.
HUGSIM에서 마주 오는 차량이 가까이 통과하는 상황의 주행 경로 비교입니다.

기술 상세

DriveRL은 Ego와 최대 96개 교통 참여자의 5개 시점 History를 5 Hz로 처리하고, Local Vector Map은 최대 256개 Token으로 표현합니다. Ego·Agent·Map Encoder의 Token 폭은 256이며 Attention Head는 4개입니다. 정책은 정규화된 연속 행동 두 개를 독립 Beta 분포로 출력하고, Shape Parameter에 Softplus 값을 더해 1보다 크게 제한함으로써 단봉 분포와 극단 행동 과가중을 피합니다.

PPO 학습에서 각 World는 110-step Rollout을 수행하며 1:1 비율의 Log-Replay와 IDM 장면을 사용합니다. 학습 데이터는 nuPlan Trainval에서 추출한 922,703개 Scene이고, 96개 GPU·Rank당 2,048개 World·2,400 Update를 사용해 약 21시간 동안 학습합니다. Scene에 늦게 진입하는 Actor는 현재 Log Frame, Ego Pose 오차 5 m 및 0.35 rad 이하, 가시 Actor와의 충돌 없음이라는 조건을 만족할 때만 삽입합니다.

Test-Time Search는 정책 Mode를 후보 0으로 보존하고 같은 정책에서 추가 행동 후보를 Sample합니다. 각 후보는 첫 행동을 실행한 뒤 이후 상태에서 정책 Mode를 사용해 L-step Rollout을 진행하며, 배경 Actor는 제한된 Acceleration과 Yaw Rate를 가진 Constant-Turn-Rate-and-Acceleration 모델로 외삽합니다. 후보 점수는 Rollout 보상과 마지막 상태의 Critic Value를 할인 합산하고, 최고 후보가 Mode보다 δ=0.03 이상 높을 때만 교체합니다. 기본 실험은 후보 64개와 Lookahead 5를 사용합니다.

DriveVFM은 LAION-2B, ImageNet-21K, SA-1B, OpenDV, nuPlan, Waymo Image를 섞어 학습합니다. DINOv3와 SAM의 Patch Feature, DINOv3와 SigLIP2의 Summary Feature를 서로 다른 인터페이스로 맞추며, Depth Anything V2는 Depth Prediction이 아닌 Visual Feature를 증류합니다. PHI-S는 각 Teacher Feature를 평균·공분산 기반으로 중심화한 뒤 PCA–Hadamard Rotation과 공통 Scale을 적용해 차원별 분산 편차를 줄입니다.

DriveZero의 Trajectory Loss는 64개 후보 중 Teacher 궤적과 평균 L1 거리가 가장 작은 후보 하나만 회귀합니다. Scoring Loss는 후보별 Collision Avoidance, Drivable-Area Compliance, Progress, Time to Collision, Comfort, Driving-Direction Compliance 여섯 항목의 BCE를 평균합니다. 최종 학습 목표는 Trajectory Loss와 Scoring Loss의 가중합이며, 추론에서는 Scoring Branch가 산출한 Aggregate PDM Score로 후보를 정렬합니다.

관련 Figure

Chart
두 주행 장면에서 DriveVFM의 PCA 표현과 Heatmap이 도로 영역을 더 일관되게 묶고, 표시된 장거리 장애물과 작은 객체를 지면과 구분하는 양상을 나타냅니다. 색상은 Ground Prototype과의 유사도를 나타내며, DriveVFM의 시각 표현이 주행 계획에 필요한 공간 구조와 비정형 장애물 구분에 기여하는 근거로 연결됩니다.
DINOv3와 DriveVFM의 Patch Feature PCA 및 Ground Similarity Heatmap 비교입니다.

실무 활용

DriveZero는 카메라 이미지와 주행 명령만으로 여러 미래 궤적을 생성하고 후보 점수로 하나를 선택하는 End-to-End 주행 Planner입니다. 학습 때만 구조화된 상태를 받는 DriveRL Teacher를 사용하며, 배포 시에는 DriveVFM Backbone과 DriveZero Planner만 남습니다.

카메라 기반 자율주행 차량의 다중 궤적 생성과 후보 선택
인간 주행 기록에 없는 대체 주행 의도와 복구 행동의 데이터 증강
구조화된 주행 상태를 사용하는 RL Teacher에서 카메라 전용 Student로의 지식 이전
폐루프 주행 정책에서 추가 추론 계산으로 행동 후보를 재평가하는 Test-Time Search

코드 공개 여부: 공개

코드 저장소 보기

키워드

DriveZero(카메라 전용 End-to-End 주행 Planner)DriveRL(폐루프 강화학습 행동 Teacher)DriveVFM(다중 Vision Foundation Model 증류 Backbone)PPO(정책 최적화 알고리즘)Goal Augmentation(목표 조건 주행 데이터 증강)Value-Guided Test-Time Action Search(가치 기반 추론 행동 탐색)Trajectory Distillation(궤적 증류)

용어 해설

폐루프 강화학습(Closed-Loop Reinforcement Learning): — 정책이 자신의 행동을 환경에 적용하고 그 결과로 바뀐 상태를 다시 관측하면서 학습하는 방식입니다. 고정된 인간 주행 기록만 모방하지 않고, 실패·복구·안전 위반에 대한 보상 신호를 통해 행동을 갱신합니다. DriveRL에서는 차량과 주변 교통 참여자가 함께 움직이는 시뮬레이션에서 PPO를 수행합니다.
비전 Foundation Model(Vision Foundation Model): — 대규모 이미지 데이터로 사전 학습되어 다양한 시각적 특징을 제공하는 모델입니다. DINOv3는 공간 구조, SigLIP2는 이미지 의미, SAM은 경계와 객체 영역, Depth Anything V2는 기하 정보를 제공하며 DriveVFM은 이 특징을 하나의 주행용 Backbone으로 통합합니다.
지식 증류(Knowledge Distillation): — Teacher 모델의 출력이나 내부 표현을 Student 모델의 학습 목표로 삼아, 더 작거나 다른 입력 형식의 모델로 지식을 옮기는 방법입니다. DriveZero는 구조화된 장면 정보를 받는 DriveRL의 주행 궤적을 카메라 입력만 받는 Planner에 전달합니다.
Winner-Takes-All 학습(Winner-Takes-All): — 여러 후보 출력 중 정답과 가장 가까운 후보 하나만 회귀 손실에 참여시키는 방식입니다. DriveZero는 64개의 궤적 후보를 생성한 뒤 Teacher 궤적과 L1 거리가 가장 작은 후보를 선택해 학습하므로, 서로 다른 주행 모드가 각 Query에 분산될 수 있습니다.
가치 기반 테스트 시간 행동 탐색(Value-Guided Test-Time Action Search): — 학습된 정책의 최빈 행동과 정책에서 샘플링한 대안 행동을 짧은 Rollout으로 비교하는 추론 기법입니다. 각 후보의 즉시 보상과 Critic이 예측한 미래 수익을 합산하고, 일정 마진 이상 우수한 후보가 있을 때만 최빈 행동을 교체합니다.

인간 시연을 넘어서는 End-to-End 주행

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Qwen-Drive-1.0의 자율주행 통합 모델

자율주행용 통합 Vision-Language 모델 Qwen-Drive-1.0

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

Qwen-Drive-1.0의 자율주행 통합 모델

자율주행용 통합 Vision-Language 모델 Qwen-Drive-1.0

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

ZimaBlue로 영상에서 로봇 행동까지 확장하는 World Action Model