HINT-SD: 장기-지향 에이전트를 위한 Targeted Hindsight Self-Distillation

긴 호라이즌 태스크에서 보상은 희소하고 중간 단계의 기여를 해석하기 어렵다. 히인사이트 기반 피드백은 전체 롤아웃을 분석해 실패 원인을 파악하고, 타깃 턴에만 피드백-조건부 증류를 적용함으로써 효율성과 효과를 모두 개선한다.

단락 1: 긴 호라이즌 문제에서 보상은 희소하고 중간 의사결정의 기여를 파악하기 어렵다. 기존 방법은 전체 트랙에 걸친 피드백으로 비효율적이거나 불필요한 업데이트를 유발한다. 단락 2: 본 논문은 전체 실패 경로를 분석해 실패-관련 턴을 식별하고 hi와 fi로 구성된 hindsight teacher를 만들고, 학생은 hi만 사용한다. 단락 3: 선택된 턴에 한정된 distillation을 적용하면 밀도 높은 피드백을 제공하되, 전체 경로에 대한 학습 비용은 줄일 수 있다. 단락 4: 타깃 턴 분포가 초기·중간 턴에 집중되지만 후반 턴에서도 발생하며, 피드백 소스의 질과 규모에 따라 성능이 추가로 향상될 수 있다.

문제 설정: τ=(s1,a1,...,sT,aT)에서 에이전트 정책 πθ가 상호작용한다. 목표는 실패로 귀결된 부분에만 감독을 적용하는 것. 히인사이트 피드백 생성: Hθ가 전체 실패 롤아웃을 분석해 { (i, fi) }의 집합 I를 산출한다. i는 실패 관련 턴, fi는 교정 피드백. 타깃 자기증류: 각 i∈I에 대해 hi에 fi를 추가한 뒤 현재 정책을 이 augmented context로 쿼리한다. 교사 분포는 πθ(·|hi, fi, ai,<t)이고 학생 분포는 πθ(·|hi, ai,<t)이다. 손실은 Σi∈I Σt=1..|ai| DKL(πθ(·|hi, ai,<t) ∥ sg(πθ(·|hi, fi, ai,<t)))를 선택된 턴 스팬에 대해 최소화한다. sg는 stop-gradient로 교사 분포의 그래디언트를 차단한다.

주요 벤치마크 BFCL v3와 AppWorld에서 HINT-SD-Multi가 Avg@4 41.88/18.46, Best@4 48.75/31.11로 향상. 초기 대비 최대 18.80%의 개선을 보였고, 학습 시간은 84.76s에서 37.45s로 감소하며, Peak GPU Memory는 126GB에서 85GB로 감소하여 2.26× 속도 향상과 1.48× 메모리 절감을 달성했다. 타깃 턴 분포는 1–3 턴 36.7%, 4–8 턴 44.8%, 9+ 턴 18.5%로 나타나 초기 턴보다 중간/후반 턴에 더 많은 교정이 발생한다는 것을 시사한다.

전체 아키텍처: 다중 턴 에이전트 정책 πθ와 환경 τ를 가정한다. 히인사이트 피드백 생성: 현재 정책 θ를 히인사이트 분석기로 고정하고, 전체 실패 롤아웃을 입력으로 받아 실패-관련 턴 I와 피드백 fi를 출력한다. 타깃 자기증류: i∈I에 대해 hi를 확장하고 fi를 포함한 privileged context로 정책을 평가하는 teacher 분포 πθ(·|hi, fi, ai,<t)와, hi만 사용하는 student 분포 πθ(·|hi, ai,<t)를 얻는다. 손실은 Σi∈I Σt≤|ai| DKL(πθ(·|hi, ai,<t) ∥ sg(πθ(·|hi, fi, ai,<t)))로 정의되며, sg는 stop-gradient를 적용한다. 이로써 선택된 턴의 토큰 스팬에서만 밀도 높은 피드백을 학습에 반영한다.