Debiased 모델 기반 표현을 통한 샘플-효율적 연속 제어 연구: DR.Q

모델-기반 표현은 모델-프리스 RL의 샘플 효율을 높이려는 핵심 아이디어다. 기존 접근은 현재 상태-행동 표현과 다음 상태 표현 간의 차이를 최소화하는 데 집중하지만, 이로 인해 중요한 정보를 충분히 포착하지 못하고 초기 경험에 과도하게 적합해 버리는 편향이 생길 수 있다. DR.Q는 mutual information(I(Z_sa; Z_s'))를 증가시키는 보조 손실과 함께, 새로운 경험에 더 큰 우선순위를 부여하는 faded PER을 도입해 이 편향을 완화한다. 이로써 모델-기반 표현이 다운스트림의 actor-critic 학습에 더 풍부한 정보를 제공하게 된다.

출발점: 모델-기반 표현은 latent dynamics 정보를 활용해 상태-행동 표현을 학습하고, 이 표현을 기반으로 정책과 가치 함수를 최적화한다. 기존 방법은 주로 Z_sa와 Z_s' 간의 수치적 차이(= latent consistency) 최소화에 의존하는 경향이 있지만, 이는 Z_sa와 Z_s' 사이의 정보 공유(I(Z_sa; Z_s'))를 항상 증가시키지 않는다. 따라서 중요한 변수를 놓치거나 과적합될 수 있다. 해결 원리: (1) InfoNCE 기반 Mutual Information Loss LI를 도입해 Z_sa와 Z_s' 간의 정보를 최대화하고, 함께 latent consistency 손실을 최소화한다. LI를 최대로 함으로써 latent dynamics의 예측력이 높아지고 가치 추정의 상한이 tighter해진다. (2) Faded PER로 샘플링 전략을 개선한다. PER의 TD 오류 기반 샘플링에 Forget 메커니즘을 더해 신참 샘플과 큰 TD 오류를 가진 샘플이 더 많이 학습에 활용되도록 한다. (3) 이 두 가지를 DR.Q의 encoders 학습 및 다운스트림 actor-critic 학습에 통합한다. 이로써 최근의 중요한 경험을 중심으로 풍부한 모델-기반 표현을 얻고, 정책 학습에 필요한 정보가 풍부하게 전달되도록 한다. 결과적으로 단일 하이퍼파라미터로 73개 태스크에서 실험적으로 강력한 샘플 효율성과 성능을 기록한다.

1. DR.Q 프레임워크의 구성: encoders fω(s) → zs, gω(zs, a) → zsa, M(zsa) → (r̂, ẑs′); z̃s′은 타깃 인코더 fω′에 의해 생성된다. (2) 손실 구성: Lreward(ˆr, r) = CE(ˆr, TwoHot(r)); Ldynamics(ˆzs′, z̃s′) = E[(ˆzs′ − SG(z̃s′))^2]; LI(ˆzs′, z̃s′) = InfoNCE로 MI를 근사; 총 encoder 손실은 LDR.Q_enc = Σ_t [λr Lreward + λd Ldynamics + λm LI] (H horizon). 타깃 인코더는 주기적으로 업데이트된다. (3) Mutual Information의 수학적 근거: MI 증가 시 H(Zs′|Zsa)가 감소하며, 이는 예측의 불확실성을 줄이고 가치 오차를 더 촘촘히 제한한다. (4) 샘플링 전략: Faded PER의 공식은 P(i) = max(|δ(i)|^α, 1) × max(ϵ_low, (1−ε)^i)로 표현되며, 이는 TD 오류와 시간 인덱스를 함께 고려한다. (5) Actor-Critic 학습: Actor는 가우시안 노이즈를 더한 결정적 정책을 수행하고(ϕ), 두 개의 QC 네트워크로 critic를 구성한다. TD-업데이트는 HQ를 이용한 다중 스텝 반환과 Huber 손실을 적용한다. (6) 구현 상세: Replay 버퍼, LAP, 1D forget weight, 1D priority 등 실제 구현 세부를 DR.Q_enc, DR.Q의 학습에 반영한다. 이 모든 구성은 1M(또는 500K 프레임) 환경 스텝의 다양한 태스크에서 단일 세트 하이퍼파라미터로 동작하도록 설계되었다.

주요 벤치마크에서의 성능은 DR.Q가 강력 Baseline과 대등하거나 우수한 성능을 보인다. MuJoCo 태스크들에서 DR.Q는 SimBaV2, MR.Q, TDMPC2 등과 비교해 상응하거나 초과하는 성능을 보였으며, Dog-run에서 1M 스텝으로 평균 반환 700 이상을 달성했다. DMC-Hard 태스크에서 15.5%의 개선, HumanoidBench(w/ hand)에서 FoG 대비 58.9%의 개선, DMC-Visual에서 MR.Q 대비 26.8%의 개선이 보고된다. DMC-Visual과 HumanoidBench 등 시각/고차원 태스크에서의 성능도 DR.Q가 우수했다. Ablation 연구에선 InfoNCE 손실을 제거하면 성능 저하가 발생했고, forget 및 LAP 중 하나를 제거해도 성능 저하가 확인되었다. DR.Q는 모델-기반 표현 학습에서 MI 손실의 효과를 확인했고, faded PER의 효과 역시 샘플 효율성 측면에서 중요하다는 것을 확인했다. 한 가지 한계로 Hopper-v4에서의 성능 저하 및 일부 시각 DMC 태스크의 한계가 보고되며, 단일 하이퍼파라미터 세트의 적용이 모든 태스크에 최적은 아닐 수 있다.

DR.Q의 한계로 Hopper-v4에서의 성능 저하가 보고되며, 시각적 데이터가 포함된 일부 DMC 태스크에서 전체적인 성능이 기대에 못 미치는 경우가 있다. 또한 단일의 hyperparameter 세트를 다양한 태스크에 적용하는 점이 항상 최적이라는 보장은 아니다. InfoNCE 손실과 faded PER의 추가 컴퓨테이션 비용이 증가하며, hard exploration 태스크나 비마크로프(Task)에서는 성능이 제한될 수 있다.Discrete action 태스크에 대한 확장은 추가 연구가 필요하다.