RAD-2: 생성자-판별자 프레임워크에서의 강화학습 확장

기존의 확산 모델 기반 자율주행 플래너는 모방 학습만으로는 폐쇄 루프 환경에서의 불안정성과 피드백 부족 문제를 겪었습니다. RAD-2는 생성자와 판별자를 분리하여 고차원의 궤적 최적화 문제를 저차원의 보상 신호와 연결함으로써 학습 안정성을 획기적으로 높이고 실제 주행 안전성을 크게 개선했습니다.

자율주행에서 확산 모델(Diffusion Model)은 복잡하고 다양한 미래 경로를 생성하는 데 탁월하지만, 단순히 인간의 주행을 흉내 내는 모방 학습(Imitation Learning)만으로는 예상치 못한 상황에서 스스로를 교정하는 능력이 부족하다. 이를 해결하기 위해 강화학습(Reinforcement Learning)을 결합하려 하면, 수만 개의 좌표로 이루어진 고차원 궤적 데이터에 단 하나의 숫자(보상)를 직접 대응시켜 학습시켜야 하므로 학습이 매우 불안정해지는 문제가 발생한다.

RAD-2는 이 문제를 해결하기 위해 '생성'과 '평가'를 철저히 분리한다. 먼저 확산 모델 생성자는 가능한 여러 경로 후보를 뽑아내고, 강화학습으로 훈련된 판별자는 이 후보들 중 어떤 것이 안전하고 효율적인지 점수(Score)를 매긴다. 이는 복잡한 궤적 전체를 직접 수정하는 대신, 판별자가 내리는 저차원의 점수 체계를 통해 간접적으로 최적의 경로를 선택하게 함으로써 학습의 난이도를 낮추는 원리이다.

결과적으로 시스템은 단순히 과거 데이터를 복제하는 수준을 넘어, 시뮬레이션 환경에서의 반복적인 시행착오를 통해 더 안전한 경로를 스스로 찾아낼 수 있게 된다. 특히 시간적 일관성을 유지하는 샘플링 기법을 통해 주행 의도가 매 순간 급격히 변하는 현상을 방지하여 실제 차량처럼 부드럽고 일관된 주행을 가능하게 한다.

RAD-2는 확산 모델 기반 생성자와 트랜스포머 기반 판별자로 구성된 통합 프레임워크를 사용한다. 생성자는 현재의 BEV 특징과 내비게이션 입력을 조건으로 다수의 후보 궤적을 생성하며, 판별자는 각 궤적과 주변 환경의 상호작용을 분석하여 0에서 1 사이의 점수를 부여한다. 이 과정에서 생성자와 판별자는 서로의 성능을 끌어올리는 순환 구조로 공동 최적화된다.

강화학습 안정화를 위해 TC-GRPO(Temporally Consistent Group Relative Policy Optimization)를 적용한다. 동일한 상태에서 생성된 궤적 그룹 내에서 상대적인 보상을 계산하는 GRPO 구조에 시간적 일관성 제약을 추가했다. 중요도 샘플링 비율 ρ = D_phi(tau|o) / D_phi_old(tau|o) [현재 판별자 확률 → 나눗셈 연산 → 이전 판별자 확률 대비 변화량]를 계산하고, 이를 Advantage 신호와 곱하여 판별자의 가중치를 갱신함으로써 특정 궤적 가설이 일정 시간 동안 유지되도록 유도한다.

생성자 최적화를 위해서는 OGO(On-policy Generator Optimization)를 수행한다. 시뮬레이션 중 발생한 충돌이나 지연 피드백을 바탕으로 기존 궤적의 가속도 프로필을 수정하여 최적화된 궤적 tau_opt를 생성한다. 이후 생성된 궤적과 최적화된 궤적 사이의 평균 제곱 오차(MSE) Loss = E[||tau_hat - tau_opt||^2] [예측 궤적과 목표 궤적 차이 → 제곱 연산 → 오차 값]를 최소화하는 방향으로 확산 모델을 미세 조정하여 고보상 영역으로 분포를 이동시킨다.

BEV-Warp 시뮬레이션 환경에서 RAD-2는 강력한 확산 모델 기반 플래너인 ResAD 대비 충돌률(Collision Rate)을 0.533에서 0.234로 56% 감소시켰다. 또한 주행 효율성을 나타내는 EP-Mean 지표에서도 0.988을 기록하여 기존 모델들을 압도하는 성능을 보였다. 특히 안전 중심 시나리오와 효율 중심 시나리오 모두에서 균형 잡힌 성능 향상을 입증했다.

광학적 사실성이 높은 3DGS(3D Gaussian Splatting) 벤치마크에서도 RAD-2는 0.250의 충돌률과 0.723의 Safety@1s(1초 내 충돌 위험이 없는 비율)를 달성하며 모방 학습 및 강화학습 베이스라인 모델들보다 우수한 안전 마진을 확보했음을 보여주었다. 실제 차량 배포 테스트에서도 복잡한 도심 교통 상황에서 부드러운 차선 변경과 선제적인 감속을 통해 주행 안정성을 증명했다.

RAD-2의 핵심 아키텍처는 DiT(Diffusion Transformer) 기반 생성자와 트랜스포머 인코더 기반 판별자의 결합이다. 판별자는 궤적 포인트들을 MLP로 임베딩한 후 [CLS] 토큰을 포함한 트랜스포머를 통과시켜 궤적 쿼리 Q_tau를 생성한다. 이를 정적/동적 장애물 정보와 교차 어텐션(Cross-Attention)시켜 최종 점수를 산출한다.

학습 파이프라인은 3단계로 구성된다. 1단계에서는 대규모 실제 주행 데이터(50,000시간)로 생성자를 사전 학습한다. 2단계에서는 BEV-Warp 환경에서 궤적 재사용 메커니즘을 적용한 롤아웃을 수집한다. 3단계에서는 수집된 데이터를 FIFO 리플레이 버퍼에 저장하고, 판별자는 TC-GRPO로, 생성자는 OGO를 통한 MSE 손실로 교차 최적화한다.

BEV-Warp 시뮬레이터는 공간적 등변성(Spatial Equivariance)을 활용한다. 차량의 이동에 따른 상대적 포즈 변화를 워프 행렬 M_t = (P_t+1)^-1 * P_ref_t+1 [다음 시뮬레이션 포즈 → 역행렬 연산 후 참조 포즈와 곱셈 → 변환 행렬]로 계산하고, 이를 기존 BEV 특징 맵에 적용하여 새로운 시점의 특징을 생성한다. 이는 무거운 이미지 렌더링 과정을 생략하면서도 물리적으로 일관된 피드백을 제공한다.

BEV-Warp 시뮬레이션의 효율성은 BEV 중심의 인지 구조에 의존하므로, 명시적인 공간 그리드 구조가 없는 원본 카메라 픽셀 기반 아키텍처에는 직접 적용하기 어렵다. 또한 현재의 특징 레벨 워핑은 생성형 월드 모델(Generative World Models)에 비해 시각적 사실성이 떨어질 수 있으며, 향후 더 유연한 생성형 시뮬레이터와의 통합이 필요하다.