Flow-ERD: 에이전트 유형 인식 플로우 매칭과 엔트로피 정규화 증류를 통한 다양성 있는 교통 시뮬레이션

왜 중요한가

자율주행 검증에서 시뮬레이터는 단 하나의 기록된 미래를 단순히 재현하는 것을 넘어 동일한 장면에서 발생 가능한 다양한 합리적 미래를 생성해야 안전성 검증과 정책 강건성 확보에 기여한다. 기존 벤치마크 최적화는 기록된 로그와의 유사성(RMM)에 치중해 다양성을 희생하는 경향이 있었고, 토큰 기반 백본은 코드북 제약 때문에 세세한 동작 다양성을 포획하지 못했다. Flow-ERD는 연속적 플로우 생성과 유형별 운동학 실행을 결합하고 폐루프 미세조정에 엔트로피 정규화를 도입해 사실성과 다양성을 동시에 개선하는 실용적 대안을 제시했다.

핵심 기여

Agent-Type Aware Flow Matching(AFМ)으로 연속적 다중모드 행동 생성

AFM은 연속적 행동 공간에서 flow matching을 사용해 H-스텝 행동 시퀀스의 velocity field를 학습하고, 샘플된 행동을 에이전트 유형별 전이 함수로 실행해 유형 불일치로 인한 비현실적 상태를 차단했다. 이 접근은 토큰 코드북의 해상도 한계를 제거하면서도 차량·자전거에는 비홀로노믹 전이를, 보행자에는 홀로노믹 전이를 적용해 타입별 운동학을 보존했다. 결과적으로 AFM은 kinematic 구성 요소에서 우수한 점수를 기록하며 높은 CPD를 유지했다.

Entropy-Regularized Distillation(ERD)로 폐루프 분포 미세조정

ERD는 폐루프 롤아웃 분포를 데이터 분포의 엔트로피 완화(tempering)된 버전 p_data^β에 맞추는 목적을 도입해 역-KL의 모드 집착성을 완화했다. 실제 최적화는 Distribution-Matching Distillation(DMD)과 frozen open-loop score를 활용해 불가능한 폐루프 우도 계산을 우회하고, fake score를 온-폴리시로 학습하는 구조를 채택했다. β를 1에서 0.99로 낮추는 실험에서 대부분의 다양성을 회복하면서도 RMM 개선을 유지함이 관찰되었다.

현실성(RMM)과 로그 무관 다양성(CPD)을 동시에 측정해 파레토 전선 탐색

논문은 WOSAC 평가(RMM)와 새로 정의한 Cross-Pair Diversity(CPD)를 함께 사용해 사실성-다양성 간의 트레이드오프를 정량화했다. AFM은 유사 수준의 RMM에서 기존 기법들보다 높은 CPD를 보였고, ERD는 β 값 조정을 통해 RMM과 CPD를 명시적으로 제어할 수 있음을 보였다. 이 분석은 단일 로그 기반 RMM만으로는 다양성 손실을 감지하기 어렵다는 점을 실험적으로 입증했다.

핵심 아이디어 이해하기

첫째 단락: 문제 출발점과 한계는 학습 기반 시뮬레이터가 폐루프에서 자신의 출력을 조건으로 하며 누적 오차가 생기는 공변량 편이(covariate shift)이다. 토큰 기반(next-token-prediction) 접근은 데이터에서 유도된 이산 어휘를 사용해 현실적인 움직임 바이어스를 제공하지만, 어휘의 유한성 때문에 정교한 연속 동작이 코드북에 포획되지 못하면 다양성이 제한된다. 반대로 연속 확률 생성기는 다중모드 표현력을 제공하지만 유형별 물리·운동학을 묵시적으로 학습해야 하므로 폐루프에서 유형 불일치로 인한 비현실적 상태가 증폭될 위험이 있다.

방법론

전체 접근 개요 단락: Flow-ERD는 두 단계로 구성된다. 첫째, AFM은 flow matching을 사용해 에이전트별 H-스텝의 연속적 kinematic 행동 시퀀스를 샘플링한다. 샘플된 행동은 에이전트 유형별 전이 함수 ℱ_c를 통해 포즈로 실행되며, 실행된 포즈만이 다음 입력으로 피드백되어 폐루프에서 유형 호환성을 보장한다. 핵심 수학적 메커니즘 단락: flow matching 손실은 clean endpoint x1과 source noise x0에서 정의된 affine 경로 x_λ=(1−λ)x0+λx1에 대해 목표 속도 v⋆=x1−x0를 예측하는 신경 속도장 vθ의 제곱 오차로 표현된다. 변수 의미는 다음과 같다: x1는 목표 행동 시퀀스, x0는 표준 Gaussian 초기 샘플, λ는 경로 시간, vθ는 네트워크가 예측하는 속도장이다. 계산 흐름은 x0와 x1을 샘플링한 뒤 λ을 균등 샘플링해 x_λ를 구성하고 vθ(x_λ,λ,e)를 구해 (vθ−v⋆)^2을 평균하는 식이며, 예로 x1−x0= [0.5,−0.2,...]인 경우 해당 차분이 v⋆이고 네트워크 출력과의 제곱 오차가 손실로 계산된다. 이 손실은 ODE 통합을 통해 샘플링 단계에서의 역전파가 가능하도록 설계되었다. ERD의 구현 세부 단락: ERD 목적은 J_ERD = E[D_KL(p^CL_θ || p_data) − γ Ent(p^CL_θ)]이고 β=1/(1+γ)로 표기하면 이는 표적을 pdata^β로 온도 조정한 역-KL과 동치이다. 변수 의미는 p^CL_θ가 폐루프 롤아웃 분포, pdata가 로그된 데이터 분포, Ent는 샤논 엔트로피, β는 온도 매개변수이다. 실무적으로 폐루프 우도는 계산 불가하므로 DMD를 적용해 score 차이를 근거로 경사 추정(식 19)을 수행하며, 여기서 frozen pretrained open-loop score g_{θ0}^{OL}을 데이터 점수 근사로 사용하고 fake score g_{φ}^{CL}을 온-폴리시로 학습해 β로 스케일링된 목표 스코어에 맞추어 generator를 업데이트한다.

주요 결과

메인 벤치마크 단락: WOSAC 테스트 결과에서 Flow-ERD는 RMM 0.7878로 보고된 비교군들 가운데 최고 성능을 보였고, AFM 백본 자체도 RMM 0.7845와 kinematic 0.4955로 연속 백본 중 우수한 사실성 지표를 기록했다. Flow-ERD의 최종 미세조정 결과는 kinematic 점수 0.5062와 함께 minADE 1.2721 등 주요 지표에서 경쟁 우위를 확보했다. 이는 ERD가 폐루프에서 모델의 롤아웃을 데이터에 더 가깝게 정렬하면서도 AFM이 제공한 행동 다양성의 상당 부분을 보존했음을 시사한다. 얼리테이션 및 ablation 단락: 검증 분할(Table II)에서 AFM 백본은 CPD 0.1858로 가장 높은 로그 무관 다양성을 보였고, 모든 에이전트에 홀로노믹 전이만 적용한 변형은 CPD 0.2046을 기록했지만 kinematic 점수는 떨어져 유형 부적합한 움직임에 의한 비현실적 확산이 포함되었음을 나타냈다. ERD 적용 시 β=1.0에서 Flow-ERD는 RMM 0.7876과 CPD 0.1684를 기록했고 β=0.99에서는 RMM 0.7869와 CPD 0.1828을 달성해 온도 조절로 다양성과 사실성 간의 실용적 균형 조정이 가능함을 보여주었다. 의미 있는 다양성 단락: 행동 수준의 분산이 단순한 드리프트가 아니라 의도(intent)-수준의 다중모드에 대응함이 WOMD 규칙에 따른 의도 분류와 평균 의도 엔트로피 실험에서 확인되었다. β를 낮출수록 의도 엔트로피가 증가했고 이는 희소하지만 타당한 조향 행동(예: 좌회전·U턴 등)이 보존되어 실제 시나리오에서 에고 정책의 강건성 검증에 유의미한 다양성을 제공함을 의미한다. 따라서 단일 로그 유사성(RMM)만으로는 모델이 소수 합리적 대안을 잃었는지 판별할 수 없다는 결론이 실험적으로 뒷받침되었다.

기술 상세

전체 아키텍처 구조 단락: 입력 히스토리 ℋ_t는 temporal, map–agent, agent–agent의 SMART 스타일 인코더로 요약되어 표현 e_t를 얻는다. 디코더는 noisy H-스텝 행동 시퀀스를 B-크런크 단위로 임베딩하고 DiT 스타일의 scale–shift–gate 조건부 self-attention 블록을 적용한 뒤 step refiner와 MLP velocity head로 속도장 vθ를 출력한다. 출력된 행동 시퀀스는 유형별 전이 ℱ_{c}로 실행되며, 실행된 포즈만이 폐루프 입력으로 사용되는 receding-horizon(B<H) 업데이트 루프를 따른다. 비홀로노믹 운동학(수식 해설) 단락: 비홀로노믹 박스 중심 변위는 Δp_nh = Δp_prog + Δp_swing로 주어지고 Δp_prog := a_∥ sinc(a_ψ/2) u_∥(ψ̄), Δp_swing := 2 r sin(a_ψ/2) u_⊥(ψ̄)이다. 변수 의미는 다음과 같다: a_∥은 전진 입력, a_ψ는 heading 변화, r은 박스 중심에서 no-slip 레퍼런스까지의 오프셋, ψ̄는 중간 heading이며 u_∥, u_⊥는 회전된 단위벡터이다. 계산 흐름은 입력 행동 (a_∥,a_⊥,a_ψ)에서 먼저 ψ̄를 계산하고 sinc와 sin을 통해 전진·스윙 성분을 산출한 뒤 벡터 합으로 박스 중심 이동을 구해 포즈를 업데이트하는 방식이며, 예로 a_∥=1.0m, a_ψ=0.1rad, r=0.5m이면 Δp_swing≈2·0.5·sin(0.05)≈0.05m의 횡방향 성분이 발생한다. 이 구현은 차량류의 횡슬립을 억제하고 유형 호환성을 보장한다. ERD의 수학·구현 단락: ERD 목적은 J_ERD = E[D_KL(p^CL_θ || p_data) − γ Ent(p^CL_θ)]이며 β=1/(1+γ)로 표기하면 표적 분포는 pdata^β가 된다. 변수 의미는 p^CL_θ가 현재 폐루프 롤아웃 분포, pdata가 로그 데이터 분포, β가 온도 파라미터이며 β<1이 소수 모드를 상대적으로 부각시킨다. 실제 최적화는 폐루프 우도가 불가산이라는 문제를 피하기 위해 DMD를 적용하고 frozen open-loop score g_{θ0}^{OL}을 데이터 스코어 근사로 사용한 뒤 fake score g_{φ}^{CL}을 on-policy로 학습해 식(19)의 형태로 generator 경사를 근사한다. 이 과정은 알고리즘 1의 반복 구조로 실현되며 fake-only 단계와 generator 업데이트 단계가 도입되어 안정적 fine-tuning을 도모한다. 학습·실험적 세부사항 단락: 비홀로노믹 비율 ρ_c는 로그된 회전 구간에서 Eq.(12)로 추정해 각 유형별 r_i = ρ_{c_i} l_i를 설정했다. 훈련 타깃은 re-execution 오류가 큰 샘플을 필터링해 안정성을 높였고, inference에서는 H-스텝 예측을 생성하되 B-step만 확정(committed)해 receding-horizon 방식으로 폐루프 롤아웃을 생성했다. DiT 블록의 scale–shift–gate 조건부 처리와 chunked self-attention은 장기 행동 시퀀스의 학습 안정성과 표현력을 동시에 확보하는 데 기여했다.

한계점

논문은 ERD의 온도 β를 지나치게 낮추면 다양성은 증가하지만 현실성(RMM)이 현저히 하락할 수 있음을 실험적으로 보고했다. WOSAC의 RMM은 단일 기록된 미래와의 유사성에 기반하므로 희소하지만 합리적인 대안 행동을 상대적으로 저평가할 가능성이 존재한다. 또한 no-slip 비율 ρ_c는 로그 데이터에서 추정되므로 해당 추정치의 부정확성이 일부 상황에서 운동학 실행의 정확도에 영향을 줄 수 있다.

실무 활용

Flow-ERD는 자율주행 시뮬레이터에서 폐루프 현실성과 로그 무관 다양성을 함께 확보해야 하는 검증·정책 평가 파이프라인에 바로 적용 가능하다. AFM은 연속 행동을 샘플링하므로 고해상도 행동 표현을 필요로 하는 시나리오(혼잡 교차로, 보행자 혼재 구간)에 특히 유용하다. ERD의 β 파라미터는 운영 목표에 따라 현실성 우선 또는 다양성 우선을 명시적으로 조정하는 제어점 역할을 한다.

시뮬레이션 기반 자율주행 정책의 스트레스 테스트에서 다양한 합리적 미래를 생성해 안전 경계 조건을 평가하는 시나리오 생성기
표준화된 벤치마크(RMM)와 병행해 다양성 지표(CPD)를 사용해 모델 선택과 하이퍼파라미터 튜닝을 수행하는 평가 파이프라인
다중 에이전트 상호작용이 중요한 도시 교차로에서 에이전트 유형별 운동학 제약을 유지하며 정책 샘플 효율성을 높이는 학습 데이터 증강

코드 공개 여부: 미확인

키워드

AFM(Agent-Type Aware Flow Matching)ERD(Entropy-Regularized Distillation)Flow Matching(플로우 매칭)CPD(Cross-Pair Diversity)Covariate Shift(공변량 편이)Non-holonomic Kinematics(비홀로노믹 운동학)

용어 해설

플로우 매칭(Flow Matching): — 데이터 분포로부터 연속 경로를 학습하는 확률적 생성 기법으로, 시간 λ에 따른 속도장(velocity field)을 학습해 초기 Gaussian 샘플을 데이터 분포로 ODE 통합으로 전이시키는 방식이다. 본문에서는 k단계의 행동 시퀀스에 대해 속도장 vθ를 예측하고 그 값과 목표 속도(v⋆)의 제곱 오차를 최소화하는 손실을 사용했다. 이 방식은 고정된 토큰 코드북의 제약 없이 연속적·다중모드 행동을 생성하는 핵심 수단으로 활용된다.
역 Kullback–Leibler 발산(Reverse KL): — 생성 모델의 출력 분포를 데이터 분포에 맞추기 위해 사용하는 DKL(p_model || p_data) 형태의 목표로, 높은 밀도 모드에 확률을 집중시키는 경향이 있어 소수 모드가 무시될 수 있다. 본문에서는 이 모드 추적 성향을 완화하기 위해 엔트로피 정규화와 결합해 온도 β로 표적 분포를 완화했다. 그 결과 역-KL 단독 대비 희소 모드를 더 잘 보존하면서도 폐루프 롤아웃의 데이터 유사성을 개선하는 균형을 만든다.
공변량 편이(코비에이트 시프트)(Covariate Shift): — 교사 강요(teacher forcing)로 학습한 모델이 배치에서는 로그된 히스토리를 조건으로 하지만 배포 시 자체 생성한 상태를 조건으로 하여 누적 오차가 발생하는 현상이다. 본문에서는 폐루프 롤아웃 분포 pθ^CL과 데이터 분포 pdata의 불일치를 줄이는 것을 목표로 삼았다. ERD는 폐루프 롤아웃을 직접 미세조정해 이 편이를 실질적으로 완화했다.
비홀로노믹(자전거식) 운동학(Non-holonomic Kinematics): — 차량·자전거처럼 횡방향 독립 이동이 실행 입력에 없고 회전에 따른 박스 중심의 전진·스윙 변위를 모델링하는 운동학으로, 회전 각도와 no-slip 오프셋 r에 따라 박스 중심의 횡방향 변위가 발생한다. 본문은 이 모델을 행동 실행 단계에서 적용해 차량·자전거에 부적절한 횡슬립 같은 불합리한 상태를 방지했다. 이로 인해 연속 표현의 표현력은 유지되면서 유형별 현실성이 확보된다.
교차 쌍 다양도(CPD)(Cross-Pair Diversity (CPD)): — 동일 시나리오에 대해 생성한 K개의 폐루프 롤아웃 쌍간 평균 거리로 정의되는 로그 비의존적 다양성 지표로, 에이전트 유형별 정규화와 시간·객체 평균을 포함한다. 본문에서는 RMM과 함께 사용해 사실성(realism)과 다양성(diversity) 사이의 균형을 평가했다. CPD 값이 클수록 동일 초기 조건에서 더 많은 서로 다른 미래를 생성하는 것으로 해석된다.

Flow-ERD: 에이전트 유형 인식 플로우 매칭과 엔트로피 정규화 증류를 통한 다양성 있는 교통 시뮬레이션

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

인간 시연을 넘어서는 End-to-End 주행

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

인간 시연을 넘어서는 End-to-End 주행