TREK: 검증된 제안으로 탐색 지지 확장하고 GRPO로 정제하는 학습 절차

왜 중요한가

온-폴리시 GRPO는 배포 시 샘플 가능한 행동만 직접 최적화하므로 학생이 보상 모드를 전혀 샘플하지 못하는 하드 프롬프트에서는 탐색이 정체되는 한계가 존재한다. TREK은 검증된 외부 또는 자기-문맥 제안을 이용해 학생이 현재 샘플하지 못하는 성공 궤적 모드를 찾아 학생 정책에 통합함으로써 초기 학습 단계에서 성공률을 빠르게 높이는 방식이다. 이 접근은 블랙박스 제안자도 활용 가능하고, 검증된 출력만 사용하므로 실제 배포 인터페이스를 유지한 채 탐색을 확장했다는 점에서 실무적 이점이 크다.

핵심 기여

하드 프롬프트에서의 탐색 지지 부족을 독립된 실패 모드로 규정한 점

논문은 GRPO의 한계로서 학생이 보상 모드를 거의 샘플하지 못할 때 발생하는 탐색 병목을 명확하게 규정했다. 이 실패 모드는 단순한 보상 희소성 문제가 아니라 학생의 현재 온-폴리시 지지(support) 밖에 보상 모드가 존재하는 상황으로 정의되었다. 그 결과로 제안 생성과 통합을 분리하는 루팅(routing) 설계가 필요하다는 근거를 정량적·절차적으로 제시했다.

증류를 모방이 아닌 탐색 지지 확장 수단으로 재정의한 이론적 관점

기존 증류는 주로 모방이나 토큰 수준의 신호 개선에 초점을 맞췄으나 본문은 검증된 제안이 학생의 탐색 지지를 확장하는 데 사용될 수 있음을 체계적으로 제안했다. 이 관점은 출력-전용 인터페이스(teacher logits 불필요)를 허용하여 블랙박스 제안자와 자기-문맥 기반 제안 모두를 동일한 틀에서 다루게 한다. 이로 인해 실무 환경에서 접근 가능성이 높아지고 제안 선택 기준이 학생 근접성에 기반하도록 정교화되었다.

TREK 절차와 forward-KL 기반 짧은 통합 단계의 제안

TREK은 단계적 루팅: 저통과률 프롬프트만 제안자에게 질의하고, 검증을 통과한 제안 중 학생 NLL 기반 도달성 순으로 상위 r개를 선정한 뒤 짧은 forward-KL( q_prop ∥ π_θ ) 업데이트로 학생의 지지를 확장하고 마지막으로 GRPO 정제를 재개하는 절차를 정의했다. forward-KL 목적은 제안 모드를 학생이 '놓치고 있는' 경우에 직접적으로 학생의 확률 질량을 그쪽으로 이동시키는 역할을 한다. 이 구성은 블랙박스 제안자에서도 교사 확률을 요구하지 않도록 설계되어 배포 제약에 적합하다.

수준 높은 실험을 통한 검증: 수학 문제와 에이전트 작업에서의 효능

AIME 2024/2025 수학 벤치마크에서 DeepSeek-V4 제안을 사용한 TREK은 모든 Qwen3 스케일에서 GRPO 대비 성능 향상을 보였고, Qwen3-8B 기준 AIME 2025를 36.9%에서 40.3%로 향상시켰다. 에이전트 과제에서는 ALFWorld 전체 성공률을 75.8%에서 82.8%로, ScienceWorld에서는 12.5%에서 26.7%로 상승하며 특히 초기학습 단계에서 큰 가속 효과가 관찰되었다. 단일 스케일 비교와 ablation에서 forward-KL 통합이 OPD 스타일의 통합보다 하드 프롬프트에서 더 효과적임이 확인됐다.

핵심 아이디어 이해하기

출발점으로 GRPO는 학생 정책이 이미 유효한 해결 모드에 확률 질량을 할당할 때 강력한 성능을 낸다는 사실에서 출발한다. 그러나 많은 하드 프롬프트에서는 학생이 전혀 보상 모드를 샘플하지 못해 검증자가 존재해도 그 모드를 강화할 기회 자체가 발생하지 않는다. 따라서 문제의 핵심은 보상 신호를 더 잘 할당하는 것보다 학생이 새로운 성공 모드를 '샘플할 수 있게' 만드는 것이다.

방법론

TREK은 프롬프트 수준의 루팅으로 시작해 주어진 프롬프트에 대해 현재 학생의 무보조 통과률 p_S(x)를 추정하고, 이 값이 임계값 τ_low 이하인 프롬프트에만 제안자(proposal source)를 호출한다. 제안자들은 검증자(V)로 통과한 궤적들만 반환할 수 있고, TREK은 학생의 토큰 NLL 기반 도달성 지표 d_S(y_T|x)를 계산해 학생에 상대적으로 근접한 상위 r개의 검증 궤적만을 선정한다. 선정된 궤적 집합에 대해 짧은 forward-KL( q_prop ∥ π_θ ) 또는 동등하게 교사-강제 NLL 업데이트를 수행해 학생의 샘플링 지지를 확장한 뒤, 확장된 상태로 다시 표준 GRPO 온-폴리시 정제 단계에 진입한다.

주요 결과

수학 분야에서 DeepSeek-V4 제안을 사용한 TREK은 Qwen3-8B 기준으로 AIME 2025 성능을 36.9%에서 40.3%로, AIME 2024를 47.9%에서 51.1%로 향상시키는 등 모든 실험 스케일에서 일관된 개선을 보였다. 에이전트 과제(ALFWorld, ScienceWorld)에서는 TREK이 특히 베이스라인 성공률이 낮은 작업 유형에서 큰 이득을 가져 ALFWorld 전체 성공률을 75.8%에서 82.8%로 끌어올렸고 ScienceWorld에서는 12.5%에서 26.7%로 증가해 상대적 개선이 두드러졌다. 추가로 동일 모델의 자기-문맥(self-context) 제안만으로도 상당한 개선이 가능했으며, forward-KL 통합이 OPD 스타일의 통합에 비해 하드 프롬프트에서 더 강한 지원 확장 신호를 제공함이 ablation으로 확인됐다.

기술 상세

전체 아키텍처는 학생 정책 π_θ, 제안 정책 π_T(제안자는 외부 모델이나 동일 모델의 자기-문맥 버전), 검증자 V로 구성된다. TREK의 루틴은 배치 단위로 p_S(x)를 추정해 하드 프롬프트를 선별하고, 제안자에서 M개의 제안 롤아웃을 생성해 검증자를 통과한 것만 취한 뒤 학생 NLL 기반 거리 d_S로 정렬해 상위 r개를 선택하는 파이프라인이다. 선택집합에 대해 ℒ_FKL(x)=KL(q_prop(·|x)∥π_θ(·|x))를 최소화하는 짧은 통합 단계가 수행되고, 그 후에 표준 GRPO 손실 ℒ_GRPO(x)을 이용한 온-폴리시 정제가 재개된다.

한계점

논문에서 명시된 한계로는 검증자의 품질에 대한 의존성이 있다; 검증자가 약하면 제안 필터링 신호가 부정확해져 통합 품질이 떨어질 위험이 있다. 도달성 지표로 사용한 trimmed NLL은 문장 길이, 서식, 표면형식 민감성이 있어 완전한 학습 가능성 예측 도구가 되지 못하며 확장성 한계가 존재한다. 또한 제안자 쿼리와 검증 호출이 추가 비용으로 작용하므로 운영 환경에서는 더 적응적인 스케줄링과 비용-혜택 분석이 필요하다.

실무 활용

실무적으로 TREK은 배포 가능한 학생 정책을 그대로 유지하면서도 학습 초기 단계에서 하드 프롬프트의 성공 궤적을 빠르게 확보해 GRPO 훈련 효율을 개선하는 절차이다. 블랙박스 제안자나 동일 모델의 추가 추론 컨텍스트를 제안원으로 활용할 수 있어 실제 운영 환경에서 적용 가능성이 높다. 다만 제안자 호출과 검증자 계산 비용이 추가되어 스케줄링과 비용-효율성 최적화가 필요하다.

대형 모델을 직접 내부에 두기 어려운 환경에서 외부 고성능 제안자(black-box)로부터 검증된 궤적을 통합해 배포 모델 성능을 개선하는 시나리오
환경 상호작용 비용이 높은 에이전트 학습에서 초기 학습 단계에 검증된 행동 모드를 주입해 환경 인터랙션 예산을 절감하는 시나리오
수학·논리 문제처럼 정답 검증자가 명확한 태스크에서 검증된 솔루션을 우선 수집해 온-폴리시 방법의 수렴을 가속하는 시나리오

코드 공개 여부: 미확인

키워드

TREK(검증된 제안 기반 지원 확장)GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화)forward-KL(정방향 KL 통합)verified-rollouts(검증된 롤아웃)proposal-learning(제안 학습)reachability-score(도달성 점수)self-context(자기-문맥 제안)

용어 해설

정방향 KL(Forward KL): — 정방향 KL은 제안 분포(q_prop)와 학생 정책(π_θ) 사이의 KL(q_prop ∥ π_θ)를 최소화하여 학생이 제안된 성공 궤적 모드를 샘플할 확률을 높이는 목적함수이다. 이 목적은 제안된 검증된 출력들의 로그확률을 학생이 높이도록 직접적으로 패널티를 부과한다. TREK에서는 짧은 warm-start 단계에서 forward KL을 적용해 학생의 샘플링 지지(support)를 확장하는 데 사용됐다.
그룹 상대 정책 최적화(Group Relative Policy Optimization): — GRPO는 하나의 프롬프트에서 여러 후보 응답을 샘플하고 검증자 보상으로 그룹 정규화된 우위(advantage)를 계산해 학생 정책을 직접 최적화하는 온-폴리시 계열의 방법이다. 상대적 이득 스케일링과 클리핑된 중요비(ρ)를 사용해 배치 내 행동을 조정하며 학습과 배포 간 동작 일치를 유지한다. TREK은 GRPO가 이미 샘플 가능한 유용 모드를 가정할 때 탐색 부족으로 멈추는 실패 모드를 겨냥했다.
도달성 점수(Reachability Score): — 도달성 점수는 학생 정책이 특정 검증된 궤적을 생성할 확률적 근접성을 나타내기 위해 토큰별 음의 로그우도(NLL)를 잘라낸 평균으로 계산되는 정규화된 거리 지표이다. 상·하위 트림을 적용해 보일러플레이트나 희귀 토큰 이상치를 제거한 후 평균을 구하며, 값이 작을수록 학생의 현재 지원(support)에서 가까운 궤적임을 뜻한다. 이 점수는 제안된 검증 궤적 중 학생에게 통합하기 적합한 상위 r개를 선별하는 기준으로 사용됐다.
검증된 롤아웃(Verified Rollout): — 검증된 롤아웃은 외부 검증자(verifier)로 성공 판정을 받은 응답 또는 행동 궤적을 뜻한다. TREK은 오직 이 성공 신호를 통과한 출력만을 제안 데이터로 저장하여 학생에게 통합시키므로 블랙박스 제안자도 활용 가능하다. 검증 기준은 문제 유형에 따라 정답 일치, 환경 성공 신호 등으로 정의된다.

TREK: 검증된 제안으로 탐색 지지 확장하고 GRPO로 정제하는 학습 절차

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드