TurnOPD: 장기간 에이전트의 효율적 온-정책 증류를 위한 턴 단위 예산 전략

언어 에이전트의 온-정책 증류는 학생 정책이 자신의 궤적에서 교사 분포를 모방하게 하여 실제 상호작용 성능을 끌어올리는 방법으로 주목받고 있다. 그러나 긴 시간 지평(long-horizon)을 가진 작업에서는 끝부분에서 얻는 신호가 약하고 잡음이 많아 학습 효율이 크게 떨어지는 문제가 있었다. TurnOPD는 롤아웃 길이와 턴 단위 손실 가중치를 예산 관점에서 조절하여 동일한 실제 학습 시간 내에서 더 유의미한 결정(turn)에 학습 자원을 집중시킴으로써 장시간 작업에서 실용적인 성능 향상을 도모한다.

온-정책 증류는 학생이 자신의 행동 궤적을 생성하고 그 궤적에서 교사 확률 분포와의 KL을 최소화하도록 학습하는 방식이다. 이 접근은 학생이 실제 배포 환경과 같은 분포에서 학습할 수 있다는 장점이 있지만, 긴 에피소드에서는 후반부 턴에서 얻는 감독 신호가 약하고 잡음이 많아 동일한 자원으로는 중요한 의사결정(turn)에 충분한 학습 신호가 전달되지 않는다. 따라서 단순히 전체 궤적을 동일하게 처리하면 초기 턴에서 손실이 집중되어 깊은 결정을 충분히 개선하지 못하는 문제가 발생한다.

TurnOPD의 전체 설계는 턴 단위 예산 배분이라는 원칙을 중심으로 두 가지 제어기를 결합하여 작동한다. 첫 번째 제어기는 적응형 롤아웃 깊이 예산으로서, 에이전트의 각 턴에 대해 프로브 기반 통계를 수집하고 이 통계가 유의미한 감독 신호를 제공할 것으로 판단되는 길이까지 롤아웃을 수행한다. 이 방식은 불필요한 후기 롤아웃을 줄여 동일한 월클록 시간에서 더 많은 유효한 학습 사례를 확보하는 효과가 있다.

논문 초록에 따르면 TurnOPD는 ALFWorld, WebShop, Multi-Hop Search 세 가지 장기간 작업에서 vanilla OPD와 같은 실시간 학습 예산을 사용했을 때 검증 정확도에서 우수한 성능을 보였다. 또한 정확도 대비 시간(accuracy–time) 트레이드오프 면에서 vanilla OPD의 성능곡선을 앞서는 지점을 확장함으로써 동일 시간 자원 하에서 더 높은 실험적 효용을 달성했다고 보고되었다. 초록에 수치 표기는 없으나 실험 환경과 비교 기준이 명시되어 있어 동일 월클록 예산 조건에서 효율이 개선되었음을 확인할 수 있다.

온-정책 증류의 손실 함수는 일반적으로 학생 정책 π_s와 교사 정책 π_t의 분포 차이를 KL divergence로 측정하는 형태로 정의된다. 궤적 수준에서 KL을 누적하면 시퀀스 초기 토큰들이 누적 손실에서 큰 비중을 차지할 수 있으며 그 결과 심층 턴에 대한 그라디언트 신호가 약해진다. TurnOPD는 이 문제를 해결하기 위해 손실 가중치 스케줄을 도입하여 초기에는 토큰 수준 KL로 빠르게 행동 정렬을 유도하고 이후에는 턴 단위로 정규화된 가중치로 전이시켜 각 턴이 균등하게 학습 신호를 받도록 조정한다.