Valdi: 가치 확산 월드 모델(Value Diffusion World Models)

왜 중요한가

잠재 기반 월드 모델은 실시간 Model Predictive Control에 필요한 저지연 예측을 제공하면서도 불확실한 미래를 표현할 수 있어야 한다. Valdi는 잠재 공간에서 확산 모델을 동적으로 학습해 가치와 보상을 함께 예측하는 구조를 온라인 플래닝 루프에 결합함으로써 이 두 요구를 동시에 충족하는 방안을 제시했다. 단일 확산 단계만으로도 결정론적 MLP 기반 대비 동등한 제어 성능을 얻는 점이 실시간 플래닝에서 확산 모델의 실용성을 시사한다.

핵심 기여

잠재 확산 기반의 온라인 학습형 월드 모델 도입

Valdi는 잠재 공간에서 동작하는 diffusion dynamics를 TD-MPC 스타일의 온라인 플래닝 루프 안에서 공동 학습한 아키텍처이다. 이 구조는 인코더, diffusion 기반 dynamics, 보상 및 가치 예측 헤드를 하나의 엔드-투-엔드 학습 과정으로 연결해 잠재 표현 붕괴를 완화했다. 아키텍처는 ∼5M 파라미터 범위의 경량 구성으로 구현되어 제한된 GPU 예산에서도 학습 가능하도록 설계되었다.

단일 확산 단계로 MLP와 동등한 제어 성능 확보

실험에서 Valdi는 훈련과 추론 모두에서 단일 denoising 단계만 사용해 결정론적 one-step MLP 기반의 TD-MPC 유사 베이스라인과 동등한 제어 성능을 보였다. 이 결과는 전형적으로 여러 반복 denoising 단계가 필요한 확산 모델이 저지연 플래닝 환경에서도 실용적일 수 있음을 시사한다. 단일 단계 설정은 학습의 tractability와 추론 지연 제한 사이의 현실적인 절충점을 제공한다.

추론 시 확산 단계 수 증가가 예측 다양성과 제어 성능 간의 긴장을 드러냄

추론 시 diffusion steps를 늘리면 디코더에서 계산한 LPIPS가 크게 증가해 시각적 다양성이 높아졌다. 반면에 같은 조치가 플래닝 성능을 저하시켜 예측 표현의 풍부함이 항상 제어 품질로 이어지지 않음을 보였다. 연구진은 이 결과를 훈련-추론 불일치와 CEM 최적화기의 높은 분산 처리 능력 부족으로 설명했다.

핵심 아이디어 이해하기

강화학습에서 Model Predictive Control은 현재 상태로부터 여러 단계의 행동 시퀀스를 가정하고 이들에 따른 미래 보상을 평가해 최적 행동을 선택한다. 실시간 제어에서는 매 플래닝 사이클의 계산 비용이 제한되므로 픽셀 공간 대신 저차원 잠재공간에서 빠르게 롤아웃할 수 있는 dynamics 모델이 선호된다. 기존 TD-MPC 계열은 단일 스텝을 예측하는 결정론적 MLP를 사용해 빠른 추론을 확보했지만, 이러한 결정론적 전이는 다중 모드의 미래를 포착하지 못하는 한계가 있다.

방법론

Valdi는 네 가지 구성 요소로 이루어져 있다: CNN 기반의 인코더 Eθ, bidirectional encoder-only Transformer로 구현된 diffusion dynamics Dθ, MLP 보상기 Rθ, MLP 가치기 Vθ. 전체 접근 방식은 관측 시퀀스와 행동 시퀀스를 받아 잠재 시퀀스 z_{t+1:t+H}의 노이즈화된 버전을 조건으로 velocity parameterization을 사용해 전체 H-스텝 잠재 경로를 한 번에 샘플링하는 것이다. 이 샘플은 복원(denoising)되어 보상 및 가치 예측에 투입되며, 예측된 가치 합을 CEM으로 최대화하는 행동 시퀀스가 선택된다.

주요 결과

CarRacing 환경의 예비 실험에서 모델들은 동일한 하이퍼파라미터와 동일한 학습 장치(RTX 4080)로 두 번씩 학습되어 고정된 100개 트랙에서 평가되었다. Valdi는 훈련과 평가에서 단일 확산 단계 사용 시 MLP 베이스라인과 평균 제어 점수에서 동등한 성능을 보였으며 이는 확산 기반 dynamics가 저지연 플래닝 조건에서도 경쟁력이 있음을 시사한다. 추가 실험에서 추론 단계 수를 늘리면 LPIPS가 유의하게 증가했으나 평가 점수는 오히려 떨어져 예측의 시각적 다양성과 제어 성능 사이에 명확한 트레이드오프가 관찰되었다.

기술 상세

전체 아키텍처는 인코더 Eθ, EMA 타깃 인코더 E_{¯θ}, diffusion dynamics Dθ, 보상/가치 헤드로 구성된다. Dθ는 velocity parameterization을 사용하며 노이즈화된 잠재 시퀀스 z^{τ}{t+1:t+H}와 액션 시퀀스 a{t:t+H-1}을 입력으로 받아 denoised velocity hat{u}^{ au}{t+1:t+H}를 예측한다. 이로부터 denoised 잠재 hat{z}{t+1:t+H}를 계산하는 식은 식(1)로 주어지며, 여기서 hat{z}는 sqrt{alpha^{ au}}ar{z}^{ au}-sqrt{1-alpha^{ au}}hat{u}^{ au} 꼴로 얻어진다.

한계점

논문에서 명시한 첫 번째 한계는 현재의 단일-step denoising 추정이 더 복잡한 동역학을 가진 환경에서는 정확도를 확보하기 어렵다는 점이다. 그런 경우 다단계 denoising이 필요할 수 있으며 이를 실시간 추론 비용 안에서 사용 가능하게 하려면 multi-step teacher를 single-step student로 distill하는 추가 연구가 요구된다. 두 번째 한계는 추론 시 diffusion steps의 증가가 예측 다양성을 높이지만 오히려 플래닝 성능을 저하시킨다는 점으로, 다양한 추론 스케줄을 허용하려면 훈련 절차의 대응 변화가 필요하다고 명시되어 있다.

실무 활용

코드와 구현이 공개되어 있어 실험적 검증이나 후속 연구에 바로 사용할 수 있다. 단일 확산 단계 설정은 실시간 플래닝 제약이 있는 환경에서 확산 모델을 시험해볼 수 있는 실용적 출발점을 제공한다.

저지연 플래닝이 필요한 제어 태스크에서 불확실한 미래를 표현하는 모델 탐색
월드 모델의 예측 다양성이 제어 성능에 미치는 영향을 연구하는 ablation 실험
다중 센서 입력을 잠재 공간에서 통합해 로봇 주행 예측을 수행하는 프로토타입 개발

코드 공개 여부: 공개

코드 저장소 보기

키워드

Diffusion models(확산 모델)World models(월드 모델)Model Predictive Control(모델 예측 제어)Latent dynamics(잠재 동역학)LPIPS(시각적 다양성 지표)

용어 해설

잠재 확산 모델(Latent Diffusion): — 관측 픽셀 대신 저차원 잠재공간에서 확산 프로세스를 수행하는 생성 모델이다. 입력 잠재에 노이즈를 점진적으로 추가한 뒤 역과정을 통해 노이즈를 제거하며 샘플을 생성한다. 본 논문에서는 잠재 경로 전체를 동시 생성하여 계산 효율을 확보하고 불확실한 미래를 표현하는 데 사용되었다.
Temporal-Difference Model Predictive Control(TD-MPC): — 잠재 공간에서의 온라인 플래닝을 위해 가치 예측과 일시적 차분 손실을 결합한 방법론이다. 관측을 인코더로 잠재로 변환하고, 단일 단계 전이 모델로 롤아웃하여 CEM 같은 최적화기로 행동을 선택한다. Valdi는 이 구조를 따르되 확산 기반 dynamics로 전이 모델을 대체하여 불확실성 표현을 추가했다.
모델 예측 제어(Model Predictive Control): — 현재 상태에서 미래 행동 시퀀스를 시뮬레이션해 기대 보상을 최대화하는 온라인 최적화 방식의 제어 기법이다. 각 플래닝 사이클에서 최적의 행동 시퀀스 중 첫 행동만 실행하고 다시 플래닝을 수행한다. 실시간 제어에서는 롤아웃 속도와 모델의 표현 능력 간 균형이 핵심 제약이다.
Learned Perceptual Image Patch Similarity(LPIPS): — 디코더가 생성한 이미지들 사이의 지각적 다양성을 측정하는 기준으로, 고수준 특징 공간에서 쌍별 거리의 평균을 계산한다. 값이 클수록 시각적으로 서로 다른 모드가 많이 생성되었음을 의미한다. 본 논문에서는 N=100 샘플의 평균 쌍별 LPIPS를 예측 다양성 지표로 사용했다.
교차 엔트로피 방법(Cross Entropy Method): — 확률적 최적화 기법으로 행동 시퀀스 분포를 반복적으로 재샘플링하고 상위 해들을 사용해 분포 파라미터를 갱신한다. 플래닝 맥락에서는 후보 행동을 평가해 상위 집합의 평균으로 다음 샘플링 분포를 형성한다. Valdi는 CEM을 사용해 확산으로 생성한 잠재 경로의 가치 합을 최대화하는 행동을 탐색했다.

Valdi: 가치 확산 월드 모델(Value Diffusion World Models)

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드