자율주행용 통합 Vision-Language 모델 Qwen-Drive-1.0

왜 중요한가

기존 Driving VLA는 텍스트 기반 VQA에 의존해 3D 배치·깊이·점유 구조를 직접 제약하기 어렵고, 도메인 적응 과정에서 일반 능력을 잃을 수 있습니다. Qwen-Drive-1.0은 사전학습 VLM 구조를 유지하면서 BEV 인식 헤드로 명시적인 3D 출력을 만들고, 일반 Vision-Language 데이터도 함께 학습해 자율주행과 Cockpit 기능을 한 compute platform에서 처리하는 방향을 제시합니다.

핵심 기여

사전학습 VLM을 유지한 통합 자율주행 모델

Qwen3.5-4B를 공유 VLM으로 유지하고 외부 BEV perception head와 Planning Expert를 연결해 3D perception, driving VQA, motion planning을 하나의 구조에서 처리합니다.

세 가지 3D 인식 작업을 수행하는 BEV perception head

공유 표현에서 voxel과 BEV 특징을 구성한 뒤 3D object detection, semantic occupancy prediction, BEV map segmentation을 공동 학습해 점검 가능한 기하학적 출력을 생성합니다.

일반 능력 보존을 포함한 4단계 학습 레시피

인식 헤드 초기화, perception·VQA 공동 학습, Planning Expert 사전학습, reinforcement learning 순서로 학습하며 driving 데이터와 general-purpose vision-language 데이터를 함께 사용합니다.

Flow Matching 기반 Planning Expert

50개 waypoint로 이루어진 5초 미래 궤적을 생성하도록 32-layer diffusion transformer를 학습하고, NAVSIM·WOD-E2E·AlpaSim 등 open-loop부터 closed-loop까지 평가합니다.

핵심 아이디어 이해하기

일반적인 VLM은 이미지와 텍스트의 관계를 잘 학습하지만, 텍스트 답변만으로는 차량·보행자·도로가 3D 공간에서 어디에 있는지 명시적으로 출력하도록 강제되지 않습니다. 따라서 장면 설명이 자연스러워도 깊이와 점유 공간이 부정확할 수 있습니다. Qwen-Drive-1.0은 이 문제를 공유 VLM의 특징을 외부 BEV perception head에 연결하는 방식으로 보완합니다.

각 카메라 이미지에서 vision encoder의 시각 특징을 얻고, depth network가 픽셀마다 여러 depth bin에 대한 확률을 예측합니다. 카메라 보정으로 BEV voxel을 각 이미지에 투영한 뒤, 해당 픽셀의 depth 확률과 시각 특징을 가중합해 3D volume을 구성합니다. 이후 VLM을 통과한 고수준 특징과 결합해 차량 중심 BEV 표현을 만들고, 같은 표현에서 객체 상자·voxel 의미·지도 요소를 동시에 출력합니다.

경로 계획은 VLM의 multimodal context를 직접 waypoint 생성에 사용합니다. 입력은 여러 시점·방향의 이미지, 과거 ego trajectory, navigation instruction, 현재 ego state이며, Planning Expert는 여기에 조건을 받아 50개 waypoint의 위치와 heading을 예측합니다. 정답 궤적과 Gaussian noise 사이를 선형 보간하고 깨끗한 종점 궤적을 맞추므로, 단일 기록 경로를 복사하는 대신 조건부 trajectory generation으로 학습합니다.

학습 순서를 나눈 이유는 새로 추가한 모듈과 공유 표현의 역할을 분리하기 위해서입니다. 먼저 BEV head만 학습해 사전학습 특징이 가진 3D 정보의 양을 확인하고, 이후 perception loss와 VQA loss로 vision encoder·VLM까지 조정합니다. 마지막에는 trajectory imitation 뒤 task-level reward를 사용해 충돌 회피, 주행 가능 영역 준수, progress, 사람 선호에 가까운 경로를 강화합니다.

관련 Figure

Diagram
Vision Encoder가 관측 이미지를 visual tokens로 변환하고 Qwen3.5 Language Model이 prompt와 함께 처리합니다. BEV Perception Head는 3D detection·occupancy·map segmentation을 출력하고, Planning Expert는 noisy trajectory와 ego state를 이용해 clean trajectory와 response를 생성합니다.
Driving videos, single-view·multi-view 이미지, 일반 이미지를 Qwen3.5 Language Model에 입력하고 BEV perception head와 Planning Expert로 연결하는 통합 구조입니다.

방법론

모델은 공유 vision encoder와 Qwen3.5-4B VLM, 외부 BEV perception head, Planning Expert로 구성됩니다. 이미지가 visual tokens로 변환되고 텍스트 prompt와 함께 VLM에 입력되며, VLM은 autoregressive response를 생성합니다. BEV head는 VLM 이전의 저수준 특징과 VLM 이후의 문맥 특징을 함께 사용하고, Planning Expert는 VLM의 8개 grouped-query softmax attention layer에서 RoPE 이후의 keys와 values를 cache해 trajectory tokens와 결합합니다.

다중 카메라·다중 프레임 입력에는 8개 방향을 나타내는 view tag와 frame tag를 삽입합니다. VQA는 한 시점의 모든 view를 모은 뒤 다음 시점으로 넘어가는 frame-major 순서를 사용하고, planning은 한 view의 시간 변화를 연속 배치하는 view-major 순서를 사용합니다. 이 순서는 동적 장면에서 특정 방향의 시간 변화를 Planning Expert가 직접 볼 수 있도록 하며, 별도 special token이나 VLM 구조 변경은 필요하지 않습니다.

BEV head는 현재 시점의 6개 또는 8개 카메라 이미지와 camera calibration을 입력으로 받습니다. depth network가 각 픽셀의 depth-bin 분포를 만들고, 유효하게 투영되는 view 집합에서 depth 확률과 이미지 특징을 곱해 voxel 특징을 합산합니다. 이 volume의 높이 축을 보존한 채 VLM 특징의 feature pyramid와 결합하고, query-based BEV Transformer의 self-attention 및 deformable cross-attention으로 ego-frame BEV 특징을 생성합니다. DETR-style decoder는 3D box를, shallow 3D UNet은 semantic occupancy를, UNet-style head는 BEV map element를 출력합니다. 세 손실은 $[1mℒ[0m_perc = ℒ_det + ℒ_occ + ℒ_map$ 으로 합산하며, detection에는 Hungarian matching과 focal·L1 loss, occupancy와 map에는 focal·Lovász 계열 손실을 사용합니다.

Planning Expert는 hidden dimension 1024와 약 1.1B parameters를 가진 32-layer diffusion transformer입니다. 각 trajectory는 5초 동안 10Hz로 샘플링한 50개 $(x_k,y_k,θ_k)$ waypoint이며, 위치와 heading을 각각 165m, 25m, π/2 rad로 정규화합니다. Gaussian noise 궤적과 정답 궤적을 $[1mτ_t = (1-t)τ_0 + tτ_1[0m$ 로 보간하고, 모델은 flow velocity나 noise가 아니라 깨끗한 endpoint $τ_1$ 을 예측합니다. 추론에서는 Gaussian noise에서 시작해 10-step Euler solver로 최종 궤적을 계산하며, waypoint 간 1차·2차 차분에 Huber regularization을 적용해 경로의 jitter와 급격한 가속 변화가 줄어들도록 합니다.

학습은 네 단계입니다. Stage 1에서는 vision encoder와 VLM을 고정하고 BEV head만 학습합니다. Stage 2에서는 BEV head·vision encoder·VLM을 perception loss와 next-token prediction loss로 공동 학습하며, BEV head learning rate를 VLM의 20배로 설정합니다. Stage 3에서는 공유 표현을 고정하고 Planning Expert를 flow matching으로 학습합니다. Stage 4에서는 마지막 3개의 Euler transition에만 표준편차 0.03의 저주파 noise를 주입하고, 8개 rollout의 group-relative advantage로 reward 기반 최적화를 수행합니다.

관련 Figure

Diagram
Stage 1은 고정된 vision-language 경로 위에서 BEV head만 초기화하고, Stage 2는 perception과 VQA를 공동 학습합니다. Stage 3은 고정된 VLM 표현으로 Planning Expert를 flow matching 학습하며, Stage 4는 reward 기반 trajectory optimization을 수행합니다.
Perception head pretraining부터 reinforcement learning까지 Qwen-Drive-1.0의 4단계 학습 순서를 보여주는 그림입니다.

Diagram
원본과 후처리 결과에서 차량·보행자·주행 가능 영역·배경 등의 의미 라벨이 통합되는 과정을 확인할 수 있습니다. 데이터셋별 occupancy taxonomy와 자동 생성 라벨의 artifact를 조정해 공동 학습하는 데이터 처리 절차와 연결됩니다.
nuScenes와 OpenScene occupancy 라벨의 원본 표현과 후처리 표현을 비교한 시각화입니다.

Chart
필터링된 public driving 데이터는 3.09M개이며 multi-view 61.6%, single-view 20.1%, single-view temporal 10.1% 등으로 구성됩니다. Stage 2의 1.54M 샘플은 driving V-L 64.3%, general V-L 26.0%, 3D perception 9.7%로 나뉘고, 장면 예시는 조명·날씨·도로 환경의 다양성을 보여줍니다.
Driving Vision-Language 데이터의 입력 형식, Stage 2 학습 혼합 비율, 다양한 주행 장면을 나타낸 그림입니다.

주요 결과

nuScenes validation에서 Qwen-Drive-1.0-SFT는 3D detection mAP 43.95, modified NDS 42.83, BEV map mIoU 60.99를 기록했습니다. OpenScene에서는 mAP 43.45, modified NDS 44.16, map mIoU 71.27을 기록했습니다. nuScenes에서 BEVFormerV2*보다 mAP가 2.01 높고, BEVFormerV2보다 NDS가 3.05 높으며, PETRv2보다 map mIoU가 3.37 높았습니다. 다만 occupancy는 데이터셋별 voxel 라벨 생성 방식과 의미 차이의 영향을 받아 최고 성능을 기록하지 못했습니다.

공유 표현을 업데이트하지 않은 head-only 설정과 비교하면, joint adaptation은 nuScenes mAP를 10.46포인트, map mIoU를 9.84포인트 높였고 OpenScene map mIoU도 4.93포인트 높였습니다. 반대로 nuScenes 전용 head는 OpenScene에서 NDS 16.50에 그쳤지만 혼합 학습에서는 41.86으로 상승했습니다. 그러나 혼합 학습 후 nuScenes occupancy mIoU는 26.6% 감소했으며, OpenScene의 자동 생성 voxel 라벨에 남은 floating voxel과 source-specific artifact가 cross-dataset transfer를 제한했습니다.

Driving VQA·spatial understanding 평균은 69.43으로 Qwen3.5-4B의 63.52보다 5.91포인트 높았습니다. LingoQA는 77.80, SURDS는 66.52였고, Ego3D distance RMSE는 7.78로 UniDriveVLA-8B의 8.45보다 낮았습니다. PAI-AV-CoC의 key-object·decision·overall accuracy는 각각 65.33, 55.59, 41.26이었으며, 인과적 장면 단서와 driving decision을 함께 맞추는 능력에서 비교 모델보다 큰 차이를 보였습니다.

일반 Vision-Language 평가에서는 knowledge·reasoning·recognition 평균이 66.41로 Qwen3.5-4B의 67.40에서 1포인트 이내였고, spatial understanding·grounding 평균은 53.96으로 Qwen3.5-4B의 52.99를 넘었습니다. Motion Planning에서는 NAVSIM PDMS 90.7을 기록했고, WOD-E2E test split에서 reasoning 조건의 RFS는 7.78, RL 이후에는 7.91이었습니다. validation split에서는 RL 모델이 ADE 3초 0.62, ADE 5초 1.27, RFS 8.45를 기록했습니다.

관련 Figure

Chart
왼쪽은 MMStar, MMMU, MMBench 등 일반 Vision-Language 평가와 nuScenes·OpenScene의 3D perception 결과를 보여주고, 오른쪽은 NAVSIM PDMS 90.7, WOD-E2E RFS 7.91 등 motion planning 지표를 보여줍니다. 모델이 driving 성능만 높이는 것이 아니라 일반 시각 이해와 3D 인식을 함께 평가한다는 논문의 목표와 연결됩니다.
Qwen-Drive-1.0의 driving VQA, general VQA, 3D perception, motion planning 성능을 원형 막대 차트로 비교한 개요 그림입니다.

Diagram
각 행은 여러 카메라의 3D object detection 결과와 BEV 표현, occupancy 예측·정답, map segmentation 예측·정답을 함께 보여줍니다. 서로 다른 6-camera와 8-camera rig에서 차량과 도로 구조를 동시에 예측하며, OpenScene의 floating voxel artifact를 일부 억제하는 사례도 확인됩니다.
nuScenes와 OpenScene 검증 장면에서 multi-view 3D detection, BEV-view, semantic occupancy, map segmentation 예측을 정답과 비교한 그림입니다.

Screenshot
Qwen-Drive-1.0은 시간 범위를 지켜 주차 차량 수를 세고, stop sign을 정지 결정의 원인으로 연결하며, 여러 view의 거리 단서를 조합해 22m를 추정합니다. 또한 persistent left-turn arrow를 근거로 ego lane을 판별해, 장면 근거·시간 정보·출력 형식을 함께 따르는 driving VQA 능력을 보여줍니다.
Temporal understanding, planning causal reasoning, cross-view distance estimation, traffic-road recognition에서 여러 모델의 응답을 비교한 그림입니다.

기술 상세

BEV voxel 구성은 각 voxel 중심 p를 camera calibration matrix로 view i에 투영해 이미지 좌표 $(u_i,v_i)$ 와 depth bin $d_i$ 를 얻는 과정으로 시작합니다. 유효 투영 view 집합 Ω(p)에 대해 $V(p)=Σ_{i∈Ω(p)}D_i(u_i,v_i,d_i)F_i^v(u_i,v_i)$ 를 계산합니다. 여기서 $D_i$ 는 해당 픽셀이 각 depth bin에 있을 확률이고 $F_i^v$ 는 vision encoder 특징입니다. 즉 입력 이미지 특징에 depth 확률을 곱해 카메라 ray를 따라 분배하고, 여러 view의 결과를 합산해 3D volume을 만듭니다. 이 volume은 높이 축을 유지하므로 occupancy에 사용되고, 높이를 접은 특징은 BEV query 초기화에 사용됩니다.

BEV Transformer는 높이 축을 접은 voxel prior와 VLM 출력의 feature pyramid를 함께 처리합니다. 각 encoder layer는 BEV grid의 self-attention으로 공간 위치 간 관계를 모으고 deformable cross-attention으로 multiscale VLM 특징을 샘플링합니다. 최종 BEV 특징 B는 detection·occupancy·map branch가 공유합니다. Detection은 Hungarian algorithm으로 object query와 정답 box를 매칭하고, decoder layer별 focal loss와 L1 regression loss를 합산합니다. Occupancy는 BEV 특징을 높이 방향으로 확장해 원래 volume과 결합한 뒤 3D UNet으로 voxel 의미를 예측하므로, 평면 정보만 사용하는 경우보다 수직 구조를 보존합니다.

Planning 입력은 sensor images s, serialized layout ℓ, 과거 trajectory τ_hist, navigation instruction n, current ego state e, 선택적인 planning reason r입니다. 출력 τ는 50개 waypoint $(x_k,y_k,θ_k)$ 이며 5초·10Hz 범위를 가집니다. 정규화된 정답 τ_1과 같은 크기의 Gaussian noise τ_0을 선형 보간해 τ_t를 만들고, 모델의 endpoint 예측을 이용해 flow velocity $(τ̂_1-τ_t)/(1-t)$ 를 계산합니다. 예를 들어 t=0이면 상태가 noise에 가깝고 정답 endpoint 방향의 이동량이 크게 반영되며, t가 1에 가까워질수록 최종 경로 보정이 작아집니다. t는 최대 0.9로 제한해 $1-t≥0.1$ 을 유지합니다.

Reinforcement learning에서는 10개 Euler step 중 마지막 3개에만 stochastic transition을 적용합니다. 50개 waypoint 전체에 독립 noise를 넣지 않고 첫 6개의 orthonormal cosine mode를 사용해 시간적으로 부드러운 변형을 만듭니다. 표준편차 0.03과 $M=6$ , $N=50$ 일 때 waypoint별 평균 표준편차는 약 0.010이며, 논문은 이를 stochastic step당 약 1.7m longitudinal·0.26m lateral 변동으로 환산합니다. 각 scene에서 8개 reasoning trace와 trajectory rollout을 만들고, 보상 평균에서 벗어난 정도를 group-relative advantage로 정규화한 뒤 NAVSIM의 PDMS, WOD-E2E의 RFS, 공통 displacement 신호를 사용해 Planning Expert만 업데이트합니다.

관련 Figure

Diagram
BEV 쪽은 voxel features와 multi-scale features를 BEV Transformer로 결합한 뒤 occupancy, detection, map head로 분기합니다. Planning Expert 쪽은 pretrained VLM의 GQA layer와 GDN layer에서 얻은 정보를 cached K,V로 전달하고, 4개 GQA layer로 noisy trajectory를 정제합니다.
BEV perception head와 Planning Expert의 세부 모듈 구성을 나란히 나타낸 그림입니다.

한계점

논문은 데이터셋 간 라벨 의미와 생성 파이프라인 차이가 특히 semantic occupancy transfer를 제한한다고 명시합니다. OpenScene의 자동 생성 voxel 라벨에는 물리적 표면에서 떨어진 floating voxel 같은 artifact가 남을 수 있으며, offline label completion도 이 noise를 제거하지 않습니다. 또한 Stage 3는 장면마다 기록된 하나의 미래 궤적을 모방하므로 여러 안전한 경로를 동일하게 평가하기 어렵고, 서로 다른 데이터셋의 ego-motion 분포도 학습 신호를 복잡하게 만듭니다.

실무 활용

Qwen-Drive-1.0은 여러 카메라와 시간 프레임을 받아 3D 장면 구조, 텍스트 기반 driving reasoning, 미래 ego trajectory를 하나의 모델에서 처리합니다. 모델 구조를 유지한 채 외부 head와 Planning Expert를 붙이는 설계라서, 자율주행 기능과 일반적인 시각 질의·대화 기능을 한 onboard compute platform에서 함께 운용하는 시나리오에 맞습니다.

6개 또는 8개 surround-view 카메라를 이용한 3D object detection·semantic occupancy·BEV map segmentation
다중 시점·다중 프레임 입력을 활용한 교통 장면 질의응답과 공간 관계 판단
navigation instruction과 과거 주행 상태를 조건으로 한 5초 미래 ego trajectory 생성
Driving VQA와 일반 Vision-Language 질의를 단일 모델에서 처리하는 cockpit-driving 통합

코드 공개 여부: 미확인

키워드

Qwen-Drive-1.0(Qwen 기반 자율주행 Vision-Language 모델)Qwen3.5-4B(공유 Vision-Language Model)BEV perception head(BEV 인식 헤드)3D perception(3D 인식)Semantic Occupancy Prediction(의미론적 점유 예측)Planning Expert(경로 계획 전문가)Flow Matching(흐름 매칭)Staged Training(단계적 학습)

용어 해설

Bird’s-Eye View(Bird’s-Eye View (BEV)): — 차량을 위에서 내려다본 좌표계로 주변 장면을 표현하는 방식입니다. 여러 카메라의 특징을 차량 중심 평면으로 변환해 객체 위치, 점유 공간, 도로 구조를 같은 공간에서 예측하므로 자율주행의 3D 인식과 경로 계획을 연결하는 기준 표현으로 사용됩니다.
Semantic Occupancy Prediction: — 3D 공간의 각 voxel이 비어 있는지, 주행 가능한지, 차량·보행자 같은 어떤 의미를 갖는지 예측하는 작업입니다. 객체 상자보다 연속적인 공간 구조를 표현하며, Qwen-Drive-1.0은 3D UNet으로 BEV 특징과 높이 정보를 결합해 voxel별 의미를 출력합니다.
Flow Matching: — 잡음 상태에서 목표 궤적으로 이동하는 연속적인 흐름을 학습하는 생성 방법입니다. 이 논문에서는 50개 waypoint로 구성된 정답 궤적과 Gaussian noise를 선형 보간하고, Planning Expert가 깨끗한 최종 궤적을 직접 예측하도록 학습한 뒤 10단계 Euler 적분으로 경로를 복원합니다.
Catastrophic Forgetting: — 특정 도메인 데이터로 모델을 추가 학습할 때 사전학습으로 얻은 일반 지식과 능력이 급격히 약화되는 현상입니다. Qwen-Drive-1.0은 driving 데이터와 general-purpose vision-language 데이터를 Stage 2에서 함께 학습해 자율주행 능력과 일반적인 시각 이해·instruction following의 균형을 유지하려고 합니다.
Open-Loop Evaluation: — 모델이 한 번 예측한 경로를 실제 환경의 반응 없이 기록된 미래와 비교하는 평가 방식입니다. WOD-E2E에서는 ADE로 기록 궤적과의 위치 차이를 계산하고, RFS로 여러 사람이 허용한 후보 경로 중 가장 가까운 유효 경로의 평가 점수를 반영합니다.

자율주행용 통합 Vision-Language 모델 Qwen-Drive-1.0

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM

Qwen3.8-Max의 비전 성능과 실사용 평가

2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

월드 모델을 활용한 AI 에이전트의 미래 행동 계획 및 제어 연구

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

훈련전용 비디오 기반 World‑Action 모델 SimWAM

Qwen3.8-Max의 비전 성능과 실사용 평가

2D 픽셀 선택으로 장거리 로봇 내비게이션 정렬

월드 모델을 활용한 AI 에이전트의 미래 행동 계획 및 제어 연구

로봇 데이터 한계를 표현 학습으로 넘는 VLAct