Representation over Routing: 다중 타임스케일 PPO에서의 시간적 라우팅 병리 진단

다중 타임스케일로 가치 예측을 수행하되 actor 업데이트에 라우팅을 직접 포함시키면 surrogate objective를 악용할 수 있는 경로가 생긴다. differentiable router는 현재 업데이트에 유리한 헤드를 선택하도록 기여할 수 있으며, 헤드 간 스케일 차이로 인해 실제 제어와의 정합성이 손상될 수 있다. LunarLander-v2에서 Surrogate Objective Hacking과 Paradox of Temporal Uncertainty를 확인하고, Target Decoupling으로 구조적 분리를 제시한다. 이로써 다중-헤드 크리틱의 안정성과 해석 가능성을 진단하는 프레임워크를 제공한다.

단계적 해석 1) 다중-타임스케일 크리틱은 각 헤드가 서로 다른 할인 계수 γ에 대응하는 가치 예측을 제공한다. 이를 액터 업데이트에 실질적 라우팅을 통해 전달하면, 헤드 간 스케일 차이로 인해 surrogate가 헤드를 임의로 재배치하는 문제가 발생할 수 있다. 2) Router-Gradient Mechanism에서 wi(st; φ) = exp(zi(st; φ)) / Σ_j exp(zj(st; φ))로 정의된 differentiable router가 routed advantage A^w(st, at) = Σ_i wi(st; φ) A^γi(st, at)으로 결합된다. ∂A^w/∂z_j = w_j(A^γ_j − A^w) 이므로 surrogate의 gradient가 현재 가중 합과의 차이가 양호한 헤드로 방향을 정한다. 3) Cross-Horizon Scale Mismatch로 인해 서로 다른 γ가 서로 다른 크기와 분산의 값을 생성하므로, 헤드 간 입력 스케일을 보정하지 않으면 라우팅이 단순히 수치적으로 유리한 헤드를 선택하는 채널이 된다. 4) 엔트로피 축소(entropy collapse)는 한 헤드가 지배적으로 선택될 때 나타나며, 이는 그라디언트 경로가 특정 헤드에 집중되어 연산적 라우팅이 시간적 추상화를 해치게 됨을 시사한다. 5) Target Decoupling은 actor-side routing 경로를 제거하고 장기 헤드에 의한 이익으로 정책 업데이트를 고정시키며, critic는 보조 헤드들을 통해 정합성 있는 학습 신호를 유지한다.

단계별 구성: 1) 다중-헤드 크리틱 Vψ(st) = [Vγ1(st), Vγ2(st), ..., VγK(st)], Aˆγi(st, at) 및 대상 R̂γi(st)로 구성한다. 2) 라우터 가중치 wi(st; φ) = exp(zi)/Σ exp(zi)로 정의하고, routed advantage Aˆw(st, at) = Σ wi Aˆγi로 구성한다. 3) PPO surrogate의 근사 Lclip에서 ∇ϕLclip ≈ E_t[ r_t(θ) Σ_i Aˆγi ∇ϕ wi ]로 업데이트 경로에 라우터가 포함된다. 4) Cross-Horizon Scale Mismatch를 설명하고, V̂γ(s) 및 Âγ(s, a)의 스케일 차이로 인해 라우팅이 왜곡될 수 있음을 보인다. 5) Entropy H(w) = −Σ wi log wi가 0으로 수렴하는 엔트로피 붕괴를 예측한다. 6) Target Decoupling은 actor 업데이트에서 Aˆactor(st, at) = Aˆγ=0.999(st, at)만 사용하고, LV는 Aγlong + λ Σ_short Lγk으로 구성한다. 7) LunarLander-v2를 실험 환경으로, Γ = {0.5, 0.9, 0.99, 0.999}를 사용한다. 8) 실험에서 5개 시드를 사용하여 진단 및 신뢰성 분석을 수행한다.

주요 실험은 세 가지 진단으로 구성된다. 첫째, Surrogate Exploitation in Differentiable Attention Routing에서 HackRate가 무작위 baseline보다 높게 시작한 뒤 빠르게 0에 수렴하고 엔트로피가 거의 0으로 축소되며, 에피소드 반환은 개선되지 않았다. 이는 라우터가 수치적으로 이득이 큰 헤드를 따라가는 경향을 보이는 것을 시사한다. 둘째, Paradox of Temporal Uncertainty에서 gradient-free 라우팅은 짧은 horizon 헤드 γ=0.5에 더 큰 가중치를 주는 경향을 보이며, 그 결과 에피소드 반환은 개선되지 않고 단기 헤드에 의한 편향이 나타난다. 셋째, Target Decoupling은 구조적 분리의 효과를 보여주는데, 최종적으로 최악의 시드에서의 반환을 증가시키고 시드 간 분산을 감소시키는 reliabilty 효과를 얻었다. Figure 3은 다섯 개 시드에서의 최종 반환 신뢰도에서 Target Decoupling이 최악 시드의 반환을 개선하고 시드 간 변동성을 줄임을 보여준다.

아키텍처: 다중-타임스케일 크리틱 Vψ(st) = [Vγ1(st), Vγ2(st), ..., VγK(st)]. Aˆγi는 각 헤드의 GAE 추정치를 기반으로 한 보상 예측이다. 라우터 가중치 wi(st; ϕ) = exp(zi(st; ϕ)) / Σ exp(zi) 이고, routed advantage Aˆw = Σ wi Aˆγi. 수식적 업데이트: ∂Aˆw/∂zj = wj(Aˆγj − Aˆw); Lclip의 파생은 ∇ϕLclip ≈ E_t [ rt(θ) Σ_i Aˆγi ∇ϕ wi ]. 스케일 불일치는 |Vγ(s)| ≤ Rmax/(1−γ) 및 Finite horizon H의 경계로 설명한다. Target Decoupling는 actor가 Aˆactor(st, at) = Aˆγ=0.999(st, at)만 사용하도록 하고, critic는 Lγlong + λΣshort Lγk을 사용한다. LunarLander-v2에서 Γ = {0.5, 0.9, 0.99, 0.999}를 사용한다. 실험 설계는 5개 시드에 대한 다중-패널 진단(HackRate, 엔트로피, 에피소드 반환)과 최악 시드의 성능 재현성에 초점을 둔다.

본 연구는 LunarLander-v2에서 PPO를 대상으로 한 진단 실험에 한정되며, SAC/TD3 등의 대체 알고리즘이나 다른 제어 태스크에 일반화되었는지 불분명하다. 또한 Target Decoupling이 모든 다중-헤드 구성에서 항상 성능 향상을 보장하지는 않는다. 향후 다른 환경과 알고리즘으로의 재현이 필요하다.