HERMES++: 3D 장면 이해와 생성을 통합한 단일 자율주행 월드 모델을 향하여

기존 자율주행 모델은 미래 장면을 생성하거나 현재 상황을 이해하는 기능이 분리되어 있어 복잡한 상황 판단에 한계가 있었다. HERMES++는 LLM을 기반으로 3D 기하학적 예측과 시각적 질의응답을 하나의 프레임워크로 통합하여, 차량이 주변 환경을 말로 설명하면서 동시에 미래의 3D 구조 변화를 정확히 예측할 수 있게 한다.

자율주행 차량이 안전하게 운전하려면 '지금 무엇이 있는지' 아는 것과 '앞으로 어떻게 변할지' 예측하는 능력이 모두 필요하다. 기존에는 Transformer 기반의 LLM이 텍스트로 상황을 설명하는 데는 뛰어났지만, 3D 공간의 물리적 변화를 수치적으로 계산하는 데는 서툴렀다. HERMES++는 이 두 세계를 연결하기 위해 모든 시각 정보를 BEV(조감도)라는 공통된 지도 형식으로 압축하여 LLM에 입력한다.

핵심 원리는 LLM이 문장을 생성할 때 사용하는 Attention 메커니즘을 3D 공간 예측에도 활용하는 것이다. 모델은 현재의 BEV 지도를 LLM이 이해할 수 있는 토큰으로 변환하고, 여기에 '월드 쿼리'라는 특수한 신호를 섞는다. LLM이 상황을 분석하면서 이 쿼리에 의미론적 지식을 채워넣으면, 이 정보가 다시 3D 렌더링 엔진으로 전달되어 미래의 점구름 데이터를 생성하게 된다.

결과적으로 모델은 단순히 다음에 올 픽셀을 맞추는 것이 아니라, '저 보행자가 길을 건너려 하니 앞쪽 공간이 막힐 것이다'라는 논리적 추론을 바탕으로 미래의 3D 구조를 그린다. 이는 딥러닝의 Embedding 공간에서 의미(Semantics)와 기하(Geometry)가 서로를 가이드하며 학습되기 때문에 가능하다.

HERMES++의 파이프라인은 시각적 토큰화, LLM 추론, 미래 예측 링크, 그리고 3D 렌더링의 4단계로 구성된다. 먼저 BEV Tokenizer는 다중 뷰 이미지를 입력받아 공간적 크로스 어텐션을 수행하여 $H \times W \times C$ 크기의 BEV 특징 맵을 생성한다. 이후 이를 4배 다운샘플링하고 평탄화하여 LLM이 처리 가능한 시퀀스로 변환한다.

핵심 모듈인 Current-to-Future Link는 현재의 BEV 특징 $B_t$를 미래 시점 $B_{t+i}$로 전파한다. 이때 Textual Injection 메커니즘을 사용하여 LLM에서 처리된 텍스트 임베딩 $\hat{T}$를 입력값으로 넣고 크로스 어텐션을 수행한다. [현재 BEV 특징 $\to$ 텍스트 및 월드 쿼리와의 교차 연산 $\to$ 미래 BEV 특징] 순으로 계산이 이뤄지며, 이는 언어적 맥락이 공간적 변화를 직접 제어하게 함을 의미한다.

학습 시에는 Joint Geometric Optimization을 적용한다. 명시적 제약으로 $L_1$ Rendering Loss를 사용하며, 암시적 정규화를 위해 사전 학습된 기하학적 특징 추출기에서 얻은 $V_t$와 예측된 $V_{t}$ 사이의 코사인 유사도 및 Gram Matrix 오차를 계산한다. [예측된 특징 맵 $\to$ Gram Matrix 연산($V V^T$) $\to$ 상관관계 행렬 추출] 과정을 통해 전체적인 3D 구조의 일관성을 수치화하고 이를 손실 함수에 반영하여 최적화한다.

실험 결과, HERMES++는 미래 점구름 생성 작업에서 압도적인 성능을 보였다. nuScenes 벤치마크에서 3초 후 예측의 Chamfer Distance(CD)가 1.01을 기록하며, 기존 SOTA 모델인 DriveX(1.10)와 ViDAR(1.73)를 크게 앞질렀다. 특히 ViDAR 대비 오차율을 41.6% 감소시킨 점이 주목할 만하다.

장면 이해 능력에서도 전문 모델들을 능가했다. OmniDrive-nuScenes 데이터셋에서 CIDEr 점수 0.772를 기록하여, 보조 감독 학습(3D Box 등)을 사용한 Omni-Q(0.686)보다 높은 성능을 보였다. 이는 별도의 객체 검출 레이블 없이도 BEV 표현과 LLM의 결합만으로 정밀한 공간 인식이 가능함을 입증한다.

Ablation Study에서는 Joint Geometric Optimization의 효과가 확인됐다. 명시적 제약만 사용했을 때 1.637이었던 3초 CD 오차가 암시적 정규화(Lcos, Lgram)를 추가하자 1.436으로 개선되었다. 또한 LLM의 파라미터 규모를 0.8B에서 3.8B로 확장함에 따라 예측 오차가 약 12.5% 추가로 감소하는 확장성(Scalability)을 보여주었다.

HERMES++ 아키텍처는 InternVL2를 백본으로 채택하고 BEVFormer 기반의 토크나이저를 통합했다. 시각적 인코딩 단계에서 $180 \times 180$ 해상도의 BEV 그리드를 생성하며, 이는 LLM의 토큰 제한을 준수하기 위해 $45 \times 45$로 압축된다. 3D 복원을 위해 SDF(Signed Distance Function) 기반의 미분 가능한 렌더러를 공유하여 사용한다.

기술적 차별점은 '월드 쿼리(World Queries)'의 도입이다. 이 쿼리는 BEV 특징에서 적응형 맥스 풀링을 통해 초기화되며, 프레임 임베딩과 에고 모션(Ego-motion) 정보를 더해 시간적/동역학적 정보를 포함한다. LLM 내부의 인과적 어텐션(Causal Attention)을 통해 이전의 모든 시각/텍스트 토큰 정보를 집계하며, 생성 분기의 핵심적인 가이드 역할을 수행한다.

학습 전략은 3단계로 진행된다. 1단계는 자기지도 학습 기반의 3D 기하학적 사전 학습, 2단계는 2D-3D 정렬을 위한 토크나이저 및 렌더러 학습, 3단계는 LoRA를 이용한 LLM 미세 조정 및 통합 월드 모델 학습이다. 특히 Ego Modulation 메커니즘을 통해 차량의 미래 경로 정보를 특징 변조(Feature Modulation) 과정에 주입함으로써, 카메라의 움직임과 주변 환경의 동역학을 효과적으로 분리하여 학습한다.

본 연구는 사전 학습된 대규모 멀티모달 모델의 의미론적 사전 지식을 BEV 입력에 어떻게 더 효과적으로 활용할지에 대한 추가 연구가 필요함을 명시하고 있다. 또한, 현재는 점구름 생성에 집중하고 있으나 향후 다양한 센서 모달리티를 포함하는 생성 패러다임 확장이 필요하다는 점을 한계로 언급했다.