TREK: 검증된 제안으로 탐색 지지 확장하고 GRPO로 정제하는 학습 절차

온-폴리시 GRPO는 배포 시 샘플 가능한 행동만 직접 최적화하므로 학생이 보상 모드를 전혀 샘플하지 못하는 하드 프롬프트에서는 탐색이 정체되는 한계가 존재한다. TREK은 검증된 외부 또는 자기-문맥 제안을 이용해 학생이 현재 샘플하지 못하는 성공 궤적 모드를 찾아 학생 정책에 통합함으로써 초기 학습 단계에서 성공률을 빠르게 높이는 방식이다. 이 접근은 블랙박스 제안자도 활용 가능하고, 검증된 출력만 사용하므로 실제 배포 인터페이스를 유지한 채 탐색을 확장했다는 점에서 실무적 이점이 크다.

출발점으로 GRPO는 학생 정책이 이미 유효한 해결 모드에 확률 질량을 할당할 때 강력한 성능을 낸다는 사실에서 출발한다. 그러나 많은 하드 프롬프트에서는 학생이 전혀 보상 모드를 샘플하지 못해 검증자가 존재해도 그 모드를 강화할 기회 자체가 발생하지 않는다. 따라서 문제의 핵심은 보상 신호를 더 잘 할당하는 것보다 학생이 새로운 성공 모드를 '샘플할 수 있게' 만드는 것이다.

TREK은 프롬프트 수준의 루팅으로 시작해 주어진 프롬프트에 대해 현재 학생의 무보조 통과률 p_S(x)를 추정하고, 이 값이 임계값 τ_low 이하인 프롬프트에만 제안자(proposal source)를 호출한다. 제안자들은 검증자(V)로 통과한 궤적들만 반환할 수 있고, TREK은 학생의 토큰 NLL 기반 도달성 지표 d_S(y_T|x)를 계산해 학생에 상대적으로 근접한 상위 r개의 검증 궤적만을 선정한다. 선정된 궤적 집합에 대해 짧은 forward-KL( q_prop ∥ π_θ ) 또는 동등하게 교사-강제 NLL 업데이트를 수행해 학생의 샘플링 지지를 확장한 뒤, 확장된 상태로 다시 표준 GRPO 온-폴리시 정제 단계에 진입한다.

수학 분야에서 DeepSeek-V4 제안을 사용한 TREK은 Qwen3-8B 기준으로 AIME 2025 성능을 36.9%에서 40.3%로, AIME 2024를 47.9%에서 51.1%로 향상시키는 등 모든 실험 스케일에서 일관된 개선을 보였다. 에이전트 과제(ALFWorld, ScienceWorld)에서는 TREK이 특히 베이스라인 성공률이 낮은 작업 유형에서 큰 이득을 가져 ALFWorld 전체 성공률을 75.8%에서 82.8%로 끌어올렸고 ScienceWorld에서는 12.5%에서 26.7%로 증가해 상대적 개선이 두드러졌다. 추가로 동일 모델의 자기-문맥(self-context) 제안만으로도 상당한 개선이 가능했으며, forward-KL 통합이 OPD 스타일의 통합에 비해 하드 프롬프트에서 더 강한 지원 확장 신호를 제공함이 ablation으로 확인됐다.

전체 아키텍처는 학생 정책 π_θ, 제안 정책 π_T(제안자는 외부 모델이나 동일 모델의 자기-문맥 버전), 검증자 V로 구성된다. TREK의 루틴은 배치 단위로 p_S(x)를 추정해 하드 프롬프트를 선별하고, 제안자에서 M개의 제안 롤아웃을 생성해 검증자를 통과한 것만 취한 뒤 학생 NLL 기반 거리 d_S로 정렬해 상위 r개를 선택하는 파이프라인이다. 선택집합에 대해 ℒ_FKL(x)=KL(q_prop(·|x)∥π_θ(·|x))를 최소화하는 짧은 통합 단계가 수행되고, 그 후에 표준 GRPO 손실 ℒ_GRPO(x)을 이용한 온-폴리시 정제가 재개된다.

논문에서 명시된 한계로는 검증자의 품질에 대한 의존성이 있다; 검증자가 약하면 제안 필터링 신호가 부정확해져 통합 품질이 떨어질 위험이 있다. 도달성 지표로 사용한 trimmed NLL은 문장 길이, 서식, 표면형식 민감성이 있어 완전한 학습 가능성 예측 도구가 되지 못하며 확장성 한계가 존재한다. 또한 제안자 쿼리와 검증 호출이 추가 비용으로 작용하므로 운영 환경에서는 더 적응적인 스케줄링과 비용-혜택 분석이 필요하다.