FlowR2A: 멀티모달 주행 계획을 위한 보상-행동 분포 학습

왜 중요한가

주행계획의 불확실성은 단일 경로 예측으로 해소되지 않으며, 기존 방법은 촘촘한 보상신호와 자유로운 제안 생성 중 하나만 선택했다. FlowR2A는 보상 기반 조건부 생성으로 두 가지를 결합해 실제 주행 제안의 품질과 일관성을 동시에 개선했다.

핵심 기여

보상-행동 분포 p(a|r) 학습 프레임워크

Dense action vocabulary와 시뮬레이터 기반 보상(r)을 (a,r) 쌍으로 구성해 flow-matching 기반 생성기로 p(a|r)을 직접 학습했다. 이로써 scoring 기반의 촘촘한 보상 감독과 anchor 기반의 제안 생성 능력을 하나의 모델로 통합했다.

시점별 보상 조건화 및 보상 노이즈 증강

TTC와 ego-area와 같은 hard constraint는 per-timestep 배열로 제공하고, 연속형 보상(EP, PDM)은 학습 중 소량의 Gaussian 노이즈로 교란해 라벨 스무딩을 적용했다. 이 조합으로 고보상 조건에서 안전 경계(brittle boundary)를 넘지 않으면서도 고진행 제안을 생성할 수 있다.

Flow-matching 기반 보상 조건형 액션 디코더와 AdaLN 주입

flow-matching으로 노이즈 샘플 z_t에서 clean trajectory x를 복구하도록 학습하고, reward encoder로 만든 조건 임베딩을 AdaLN으로 디코더에 주입해 시간/장면/보상 정보를 통합한 생성기를 구성했다.

제어 가능한 테스트타임 샘플링: CFG와 Anchored Sampling

classifier-free guidance로 r_high 방향을 증폭하고, 임의 앵커 궤적과 초기 노이즈 시간 t_init을 이용한 anchored sampling으로 앵커 준수도와 다양성을 제어하는 인터페이스를 제공했다.

NAVSIM v1/v2에서의 SOTA 성능 및 우수한 제안 품질

NAVSIM-v1에서 멀티프로포절(60개) 기준 PDMS 92.8, 단일 제안 기준 PDMS 90.0을 기록했고, NAVSIM-v2에서 EPDMS 88.9를 달성했다. 평균 제안 품질 측면에서 iPad 대비 +11.5 PDMS 우위를 보였다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: 주행계획은 동일한 장면에서 여러 합리적 행동이 발생하는 멀티모달 성격을 가진다. 기존 scoring-based 접근은 대규모 고정 액션 어휘에 대해 시뮬레이터 보상을 촘촘히 평가해 행동-결과 관계를 잘 학습하지만 p(a|r)을 직접 모델링하지 못해 어휘 밖 행동을 생성할 수 없다. 반대로 anchor-based 접근은 제안을 동적으로 생성할 수 있으나 GT 하나만을 감독하므로 많은 앵커가 학습 신호를 받지 못해 저품질 제안이 발생한다.

방법론

해결 원리: FlowR2A는 시뮬레이터로 얻은 dense (a,r) 쌍을 학습 데이터로 사용해 p(a|r)을 생성적으로 모델링한다. 구체적으로 학습 데이터는 8192개의 4초 궤적로 구성된 dense action vocabulary와 각 궤적에 대해 NAVSIM 시뮬레이션으로 계산한 여러 서브메트릭(예: NC, DAC, DDC, TLC, EP, TTC, LK, HC, PDM)을 포함한다. 각 (a,r) 쌍을 flow-matching 프레임워크로 노이즈 ↔ 데이터 경로 상에서 복구하도록 학습한다.

주요 결과

메인 벤치마크 성과: NAVSIM-v1 navtest에서 FlowR2A(60 proposals, ResNet-34 backbone)는 PDMS 92.8로 이전 방법 대비 ≥1.1 PDMS 우위를 보였다. 단일 제안 설정에서도 PDMS 90.0을 기록해 안전성과 진행 지표(NC, TTC, EP)에서 우수한 성능을 보였다. NAVSIM-v2 navtest에서는 EPDMS 88.9로 안전·진행 서브메트릭에서 최고점을 기록했다. 어블레이션 결과: per-timestep 보상 조건화는 TTC를 88.8→94.9(+6.1)로 개선했고, 연속 보상에 대한 노이즈 증강(σ=0.05)은 PDMS를 84.8(σ=0)→89.4로 끌어올렸다. 샘플링 전략 영향: classifier-free guidance(w_g=5)와 충분한 denoising(20 steps), r_high 범위 [0.9,1.0], t_init 범위 [0.5,0.9], 제안 수 60 조합이 기본 설정으로 채택되었다. 제안 품질 관점: 평균 제안 PDMS는 iPad 대비 +11.5, DiffusionDrive 대비 +29.1로 보고되어 FlowR2A의 디코더가 '대체로 모두 좋은' 제안을 생성함을 나타냈다.

기술 상세

전체 아키텍처: 입력은 전·측면 이미지(프론트 스티치)와 2D BEV LiDAR 래스터 맵, ego status, driving command다. Perception encoder로 Transfuser를 사용해 context와 agent tokens를 생성하고, reward encoder는 각 보상 r_k을 임베딩한 뒤 MLP로 결합해 condition embedding r_c를 만든다. Action decoder는 flow-matching 기반의 트랜스포머 시퀀스 모델(토큰화된 궤적 + sinusoidal positional embedding, 4 transformer blocks)을 사용하며 AdaLN으로 r_c와 time embedding을 주입한다. Mode selector는 가벼운 2-layer transformer로 후보를 평가해 최종 반환한다.

한계점

논문에서 명시한 한계는 mode selector가 각 프레임을 독립적으로 점수화해 연속 프레임 간 동적 일관성(extended comfort, EC) 확보에 한계가 있으며, 이로 인해 NAVSIM-v2의 EC 지표에서 상대적으로 낮은 성능을 보인다는 점이다.

실무 활용

FlowR2A는 시뮬레이터 기반 보상 신호가 존재하는 환경에서 실시간 제안 생성 모듈로 활용 가능하다. 공개된 코드와 학습 설정으로 연구/개발 파이프라인에 통합해 제안 품질 향상 및 보상 기반 제어 실험에 직접 활용할 수 있다.

자율주행 연구에서 보상 요인(안전/진행/규칙준수)별 영향 분석을 위한 제안 생성기
시뮬레이터 기반 정책 평가 시스템에서 후보 궤적 풀을 고품질로 생성해 모의 검증을 가속화
모듈화된 플래닝 스택에서 scorer와 결합해 소수의 고품질 후보로 downstream 검증 비용 절감

코드 공개 여부: 공개

코드 저장소 보기

키워드

flow-matching decoder(Flow-matching decoder)reward-conditioned action distribution(보상 조건 행동 분포)multimodal driving planning(멀티모달 주행 계획)classifier-free guidance(CFG, 분류기-프리 가이던스)anchored sampling(앵커 샘플링)NAVSIM(NAVSIM 벤치마크)

용어 해설

보상 조건 정책(Reward-Conditioned Policy): — 행동 분포를 특정 보상값을 조건으로 학습하는 정책 형태이다. 본문에서는 시뮬레이터로 계산한 다중 구성 보상 r을 입력으로 받아 p(a|r)을 모델이 생성하도록 학습하며, 이를 통해 고보상(예: 안전·진행·규칙준수) 행동을 직접 생성할 수 있다.
분류기-프리 가이던스(Classifier-Free Guidance): — 조건부 생성 모델에서 조건이 있는 출력과 조건이 없는 출력을 선형 결합해 조건 방향으로 샘플을 보정하는 기법이다. 본문에서는 r_high와 빈 조건(r_empty)을 사용해 보상 방향을 증폭하여 고품질 제안으로 샘플을 유도한다.
플로우 매칭(Flow Matching): — 데이터 분포와 노이즈 분포 사이의 경로를 정의하고 각 시점의 velocity를 학습하는 생성 모델 접근법이다. 입력 노이즈 z_t에 대해 모델이 속도 v_theta(z_t,t)을 예측하고 velocity-matching 손실로 학습해 역ODE를 풀어 깨끗한 샘플을 생성한다.
앵커 샘플링(Anchored Sampling): — 임의 앵커 궤적 x_anchor와 초기 노이즈 시간 t_init을 결합해 z_init = t_init x_anchor + (1-t_init) ε를 만들고, 그 시점에서 denoising을 시작해 앵커 구조를 보존하면서 보상 조건으로 샘플을 조정하는 방법이다. 본문에서는 IL 헤드를 앵커로 사용한다.
시점별 보상 조건화(Per-timestep Reward Conditioning): — 이산 시각축의 각 타임스텝별로 hard-constraint 관련 보상(예: TTC, ego-area)을 배열 형태로 제공해 조건 신호를 미세화하는 방식이다. 단일 이진 라벨 대신 시점별 정보를 입력해 경계 근처 동작을 더 엄격하게 제어한다.