AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

장기 상호작용 에이전트는 종단에서만 검증 가능한 희박한 보상 때문에 어느 턴의 결정이 최종 결과에 실질적인 영향을 미쳤는지 판별하기 어렵습니다. AgentOPSD는 토큰 수준의 자기증류 차이를 턴 단위 증거로 집계하고 로그오즈 공간에서 재귀적으로 믿음 상태를 갱신하여 트래젝토리 수준 advantage를 턴 단위로 재분배합니다. 이 방식은 추가 롤아웃이나 학습된 critic 없이도 핵심 결정에 더 큰 학습 신호를 부여하므로 긴 호라이즌 환경에서 균일한 신호의 약점을 완화합니다.

토큰 수준의 자기증류 차이 δ_{k,t}는 그 자체로는 순차적 신용을 바로 의미하지 않습니다. 논문은 그 차이를 턴 단위로 합쳐 $e_k=\sum_t \delta_{k,t}$로 만들고, 이 $e_k$를 지수 감쇠 누적 $c_k=\gamma c_{k-1}+e_k$로 축적한 뒤 로그오즈에 더해 $\ell_k=\operatorname{logit}(B_0)+c_k$로 갱신합니다. 그 결과 $B_k=\sigma(\ell_k)$의 차분 $\Delta B_k=B_k-B_{k-1}$이 턴의 실제 '믿음 개정량'이 되며, 성공 여부와 일치하는 방향성(sign)을 결합해 최종 턴 신용으로 사용합니다.

입력으로는 그룹별 시퀀스 수준 advantage A_seq와 각 토큰의 교사·학생 로그확률이 필요합니다. 먼저 토큰 로그차를 턴별로 합산해 $e_k=\log(\pi( a_k\mid s_k,c^+)/\pi( a_k\mid s_k))$를 계산하고, 감쇠 계수 γ로 누적해 로그오즈를 $ \ell_k=\operatorname{logit}(B_0)+\sum_{j\le k}\gamma^{k-j}e_j$로 갱신해 $B_k=\sigma(\ell_k)$를 얻습니다. 턴별 기여는 $q_k=\operatorname{sign}(A_{seq})\Delta B_k$로 읽어오고 트래젝토리 내 표준화·클리핑(파라미터 b)과 가중치 λ로 A_seq를 재분배하여 토큰에 상속한 뒤 PPO 계열의 클리핑 손실과 결합해 학습합니다.

AgentOPSD는 ALFWorld, WebShop, Search-QA 세 벤치와 Qwen2.5-3B·7B 모델 스케일에서 GRPO와 여러 자기증류 기반 기법들을 비교했습니다. 장기 상호작용 환경인 ALFWorld에서 Qwen2.5-7B 기준 성공률 89.1%를 달성했고 동일 비교 집합에서 GRPO 기반·자기증류 기반 강력한 베이스라인들을 대부분 앞섰습니다. 구성요소 제거 실험에서는 턴 집계 대신 토큰 누적 시 85.9%로 성능이 하락했고, 재귀 ΔB_k 대신 원시 e_k 사용 시 82.8%로 떨어졌으며 부호를 제거하면 80.5%, prior B_0를 제거하면 78.9%로 감소해 각각의 설계 요소가 실험적으로 유의미한 기여를 보였습니다.

토큰별 교사·학생 로그차는 $\delta_{k,t}=\log\pi_\theta(y_{k,t}\mid h^{+}_{k,t})-\log\pi_\theta(y_{k,t}\mid h_{k,t})$로 정의되며 턴 증거는 $e_k=\sum_t\delta_{k,t}$입니다. 증거는 $c_k=\gamma c_{k-1}+e_k$로 지수 감쇠 누적되고 초기 prior는 $B_0=\operatorname{clip}(\bar R,\epsilon_0,1-\epsilon_0)$, 로그오즈는 $\ell_k=\operatorname{logit}(B_0)+c_k$로 계산해 $B_k=\sigma(\ell_k)$를 얻습니다. 턴 기여는 $\Delta B_k=\sigma(\ell_k)-\sigma(\ell_{k-1})$로 읽고 $q_k=\operatorname{sign}(A_{seq})\Delta B_k$를 트래젝토리 내 표준화해 $w_k=\operatorname{clip}(1+b z_k,1-b,1+b)$로 제한한 뒤 $\widetilde A_k=A_{seq}[(1-\lambda)+\lambda w_k]$로 재분배합니다. 주요 하이퍼파라미터는 $\lambda=0.5,\;\gamma=0.95,\;\epsilon_{high}=0.24,\;\epsilon_0=10^{-4}$이며 학습은 Qwen2.5-3B/7B-Instruct로 8×8×H800 GPU에서 수행했습니다.

AgentOPSD의 핵심 근거는 자기증류로 얻은 토큰 로그차를 성공·실패 조건부 행위 분포의 근사로 해석하는 가정에 의존합니다. 이 가정은 사용한 특권 스킬 c^+의 품질과 관련 데이터의 대표성에 민감하며, Appendix A.1에서 근사 조건을 명시적으로 요구합니다. 계산적으로는 학습 시 교사 분기(forward pass) 비용이 추가로 들고, 그룹 수준 prior B_0가 부정확하면 초기 로그오즈가 잘못 설정되어 초반 믿음 개정이 왜곡될 수 있습니다.