왜 중요한가
긴 체인 추론에서 학생이 초반에 잘못된 방향으로 진입하면 이후 토큰이 잘못을 누적해 교사 감독이 신뢰를 잃고 계산 자원이 낭비되는 문제가 있다. Relay-OPD는 이 문제를 상태 기반의 무라벨 핸드오프 트리거로 감지하여 교사가 국소적으로 짧게 인계하는 방식으로 대응하며, 교사 토큰 비율을 0.35%까지 낮춰서도 정확도를 상당히 끌어올린 실험 결과가 제시됐다. 이 설계는 교사 개입을 초반으로 집중시키고 궤적을 학생 정책에 가깝게 유지하면서도 실용적 이득을 확보한 방법임이 확인됐다.
핵심 기여
교사-학생 연속성 비대칭 발견
학생이 실패한 프리픽스에서 교사는 보통 멈추어 재검토하고 방향을 바꾸려 하는 반면 학생은 기존 방향을 계속 진행하는 비대칭이 관찰되었고, 이 관찰을 무라벨 핸드오프 트리거로 전환해 실패 지점을 온라인으로 탐지할 수 있음을 입증했다.
Relay-OPD 방법 도입
핸드오프 트리거가 발동하면 교사가 짧은 teacher leg를 생성해 추론을 교정하고 학생이 재개하도록 하는 릴레이 궤적을 구성하는 Relay-OPD를 도입했으며, (M,L)으로 교사 다리 수와 길이를 예산화해 학생 정책과의 괴리를 제한했다.
단일 speculative-decoding 엔진 구현
학생을 드래프트 모델, 교사를 타깃 모델로 하는 speculative decoding 엔진으로 Relay-OPD를 단일 파이프라인에서 구현해 모델 전환 비용을 제거하고 검증 시 교사 로짓을 트리거 판단과 동일한 계산에서 재활용함으로써 효율성을 확보했다.
핵심 아이디어 이해하기
긴 수학적 추론에서 학생이 초반에 잘못된 방향으로 들어서면 이후의 autoregressive 생성이 그 잘못을 누적하여 긴 잘못된 연속을 만든다는 점이 문제였다. 이 논문은 교사와 학생이 동일한 실패 프리픽스에서 '교사는 리디렉션용 reflection token을 고빈도로 선택하지만 학생의 Top-K에는 해당 토큰이 없음'이라는 상태적 불일치가 반복적으로 나타난다는 관찰을 핵심 직관으로 삼았다. 관찰된 불일치를 수식으로 표현하면 phi(h)=\mathbf{1}[a^{T}(h)\in\mathcal{R}]\cdot\mathbf{1}[\mathcal{K}_{S}(h)\cap\mathcal{R}=\varnothing]이며, 이 신호를 기준으로 교사가 국소적으로 개입하면 전체 궤적의 잘못 누적을 막을 수 있음이 확인됐다.
관련 Figure
그림 왼쪽 상단은 과일 문제에서 학생이 'So'를 계속 선택(50.6%)하고 교사는 'But'을 선택(74.4%)해 교사가 짧게 개입해 올바른 답으로 유도하는 사례를 보여준다. 오른쪽 막대 그래프는 Relay-OPD가 표준 OPD에 비해 평균 성능 우위를 보였음을 요약하고 있으며, 표기된 수치들(예: Relay-OPD 46.96, OPD 41.23)은 표 1의 결과와 일치한다. 이 도식은 핸드오프 트리거의 직관과 전체 성능 개선을 시각적으로 연결한 구성임이 확인됐다.
실험 케이스와 전체 성능 바 차트가 포함된 도식
그래프는 응답 토큰 위치 구간(0–256, 256–512, …)에 따라 Teacher-Student Gap이 감소하는 경향을 보이며, student-only 궤적이 항상 더 큰 갭을 유지하는 가운데 teacher-intervened(L=3) 곡선이 초기 구간에서 큰 폭으로 갭을 줄이는 것을 보여준다. 이 결과는 교사 개입의 효과가 초반 위치에서 특히 크고, 후반으로 갈수록 교사가 학생의 문맥에 끌려 리디렉션 기능이 약해짐을 수치로 증거화한 것임이 확인됐다. 따라서 Relay-OPD가 초반 트리거에 개입하는 설계가 이론적 근거를 갖추었음이 확인됐다.
응답 토큰 위치에 따른 teacher–student gap 비교 그래프
방법론
입력은 학생 정책 π_{\bar{\theta}}로 샘플된 프롬프트 x와 해당 프리픽스 h이다. Relay-OPD는 각 시점에서 교사 π_{T}의 최빈 다음 토큰 a^{T}(h)과 학생의 Top-K 서포트 \mathcal{K}{S}(h)을 계산하고, phi(h)=\mathbf{1}[a^{T}(h)\in\mathcal{R}]\cdot\mathbf{1}[\mathcal{K}{S}(h)\cap\mathcal{R}=\varnothing]가 참이면 핸드오프 트리거로 판단하여 교사가 L 단락만큼의 teacher leg를 즉시 생성한 뒤 학생이 재개하도록 하는 릴레이 궤적 z를 구성한다. 이 과정은 단일 speculative decoding 엔진에서 student 드래프트를 배치 검증하고, 수락 확률 α_{t}=\min(1,\pi^{\mathrm{tgt}}{t}(a^{S}{t}\mid h^{z}{t})/\pi{\bar{\theta}}(a^{S}{t}\mid h^{z}{t}))을 이용해 드래프트를 검증하거나 residual q_{t}(v)을 샘플링하는 방식으로 구현되어 통계적 정확성을 보장했다. 최종 최적화는 릴레이 궤적의 실제 생성 토큰 z_{t}에 대해 A_{t}^{\mathrm{Relay}}=\log\pi_{T}(z_{t}\mid h^{z}{t})-\log\pi{\bar{\theta}}(z_{t}\mid h^{z}{t})를 계산하고 업데이트 비율 \rho{t}(\theta)=\pi_{\theta}(z_{t}\mid h^{z}{t})/\pi{\bar{\theta}}(z_{t}\mid h^{z}{t})를 사용한 다음 손실 \mathcal{L}{\mathrm{Relay}}=-\mathbb{E}{x,z}[\tfrac{1}{N}\sum{t=1}^{N}\min(\rho_{t}A_{t}^{\mathrm{Relay}},\operatorname{clip}(\rho_{t},1-\epsilon,1+\epsilon)A_{t}^{\mathrm{Relay}})] 으로 학습한 점이 핵심 구현 절차임이 확인됐다.
관련 Figure
위쪽 그래프는 L을 0에서 6까지 변화시킬 때 정확도가 34.96 → 43.55로 증가하다가 포화되는 양상을 보였고, 그래프 위에 Teacher Accuracy 60.55%와 Student Accuracy 27.73%가 점선으로 표시되어 성능 갭을 보여준다. 아래 막대그래프는 Teacher Token Ratio를 보여주며 L=0에서 0.35%로 시작해 L=6에서 28.52%까지 증가함을 나타내 교사 토큰 비율과 성능 개선의 관계를 수치로 확인했다. 이 그림은 교사 개입의 국소성(작은 비율로도 효과)과 전방 집중성(front-loaded)에 근거한 설계 원리를 뒷받침함이 확인됐다.
교사 개입 횟수 L에 따른 정확도 곡선 및 교사 토큰 비율 막대그래프
왼쪽 상단은 Standard OPD와 Relay-OPD의 궤적 차이를 보여주고 중간은 Relay-OPD가 student leg와 teacher leg를 교차시키는 흐름을 시각화하며, 오른쪽은 효율적 구현으로 actor 정책 업데이트 수식 A^{Relay}_{t}=\log\pi_{T}(z_{t}\mid h^{z}_{t})-\log\pi_{\bar{\theta}}(z_{t}\mid h^{z}_{t})와 rollout을 통한 speculative decoding을 결합한 구조를 제시한다. 다이어그램은 단일 speculative-decoding 엔진에서 드래프트 수락/거부 확률 α_{t} 및 residual q_{t}(v)를 사용하는 처리 흐름을 구체적으로 보여 구현 메커니즘을 명확히 했다. 이 도식은 구현 단계에서의 통신·스케줄링 오버헤드를 제거하는 방법을 시각적으로 요약한 그림임이 확인됐다.
Relay-OPD의 전체 파이프라인 도식과 speculative decoding 기반 단일 엔진 구현
주요 결과
실험은 teacher로 Qwen3-4B-Instruct-2507와 학생으로 Qwen3-1.7B-Non-Thinking 및 Qwen3-0.6B-Non-Thinking을 사용하고 8개의 수학 벤치마크(AIME24/25/26, MATH500, AMC23, OlympiadBench, HMMT Feb26, HMMT Nov25)에서 평가를 수행했다. Qwen3-1.7B 기준으로 Relay-OPD는 평균 정확도 46.96을 기록해 표준 OPD 대비 +5.73% 향상을 달성했고, FastOPD보다 +1.49% 우수했음이 확인됐다. 또한 Relay-OPD는 평균 훈련 궤적 길이를 2,296 토큰으로 줄여 OPD 대비 -50.7% 감소를 기록했고 학생 측면에서도 0.6B에서 평균 +3.01% 상승과 63.9% 훈련 궤적 단축을 나타내 성능과 효율 모두 개선된 것으로 나타났다.
관련 Figure
왼쪽과 오른쪽의 두 패널은 HMMT Feb26와 HMMT Nov25에서 Relay-OPD가 OPD보다 다양한 k에서 일관되게 높은 pass@k 성능을 보였음을 나타내며, Relay-OPD 곡선이 항상 OPD 곡선 위에 위치함이 확인됐다. 하단 막대그래프는 AIME25, AIME26, HMMT Feb26에서 FastOPD 대비 Relay-OPD 응답 길이가 각각 -17.9%, -14.2%, -28.3% 감소했음을 수치로 보여준다. 이 그림은 Relay-OPD가 성능을 유지하면서도 응답 길이와 훈련 토큰을 절감한 실험적 근거임이 확인됐다.
Pass@k 성능 비교 및 Relay-OPD가 응답 길이를 줄인 막대그래프
두 패널은 k 값(8,16,32,64,128)에 따라 Relay-OPD가 OPD를 일관되게 상회하는 Pass@k 결과를 보여 Relay-OPD의 샘플링 예산에 대한 강인함을 시사했다. 특히 큰 k에서 성능 격차가 더 벌어지는 경향이 관찰되어 Relay-OPD가 고예산 샘플링 상황에서도 혜택을 제공함이 확인됐다. 이 그림은 Relay-OPD가 다양한 추론 샘플링 예산에서 일관된 개선을 제공한다는 실험적 증거임이 확인됐다.
하이퍼파라미터 k에 따른 OPD와 Relay-OPD의 Pass@k 비교 그래프
기술 상세
핵심 수식은 표준 OPD의 단일 샘플 추정에서 시작한다: \widehat{D}{\mathrm{RKL}}^{(t)}=\log\pi{\bar{\theta}}(y_{t}\mid h_{t})-\log\pi_{T}(y_{t}\mid h_{t}) 및 A_{t}^{\mathrm{OPD}}=-\widehat{D}{\mathrm{RKL}}^{(t)}=\log\pi{T}(y_{t}\mid h_{t})-\log\pi_{\bar{\theta}}(y_{t}\mid h_{t})로 정의되어 교사의 로그확률과 학생의 로그확률 차이를 이득으로 사용했다. Relay-OPD에서는 릴레이 접두사 h_{t}^{z}에 대해 A_{t}^{\mathrm{Relay}}=\log\pi_{T}(z_{t}\mid h_{t}^{z})-\log\pi_{\bar{\theta}}(z_{t}\mid h_{t}^{z})를 계산하고 업데이트 비율 \rho_{t}(\theta)=\pi_{\theta}(z_{t}\mid h_{t}^{z})/\pi_{\bar{\theta}}(z_{t}\mid h_{t}^{z})를 도입해 \mathcal{L}{\mathrm{Relay}}=-\mathbb{E}{x,z}[\tfrac{1}{N}\sum_{t=1}^{N}\min(\rho_{t}A_{t}^{\mathrm{Relay}},\operatorname{clip}(\rho_{t},1-\epsilon,1+\epsilon)A_{t}^{\mathrm{Relay}})] 로 최적화하였다. 핸드오프 기준은 \phi(h)=\mathbf{1}[a^{T}(h)\in\mathcal{R}]\cdot\mathbf{1}[\mathcal{K}{S}(h)\cap\mathcal{R}=\varnothing] 로 정의되며, 구현은 학생을 드래프트 모델로, 교사를 타깃 모델로 하는 speculative decoding 엔진에서 α{t}=\min(1,\pi^{\mathrm{tgt}}{t}(a^{S}{t}\mid h^{z}{t})/\pi{\bar{\theta}}(a^{S}{t}\mid h^{z}{t}))와 residual q_{t}(v)=([\pi^{\mathrm{tgt}}{t}(v\mid h^{z}{t})-\pi_{\bar{\theta}}(v\mid h^{z}{t})]{+})/(\sum_{w}[\cdot]_{+})로 드래프트 검증을 수행해 정확성을 유지한 구현임이 확인됐다.
한계점
Relay-OPD는 교사 개입을 제한적으로 사용해 효율성과 성능을 동시에 개선했지만 교사 자체 성능(예: teacher 평균 정확도 61.30)은 여전히 학생보다 크게 높아 완전한 교사 성능 복제에는 한계가 있었다. 또한 하이퍼파라미터 (M,L,K)에 민감성이 존재하여 과도한 교사 개입은 학생 정책에서 멀어지게 해 성능을 저하시킬 수 있음이 실험에서 관찰됐다. 마지막으로 제안한 핸드오프 기준은 reflection token 집합 ℛ에 의존하므로 도메인·언어·태스크에 따라 ℛ 구성과 K 튜닝이 필요함이 확인됐다.
실무 활용
Relay-OPD는 온-폴리시 증류 파이프라인에서 프리픽스 실패를 온라인으로 교정하며 학생 모델이 잘못된 추론 방향을 빨리 배우지 않도록 하는 실용적 방법이다. 입력으로는 학생 정책 샘플 프리픽스와 교사 모델의 다음 토큰 분포가 필요하며, 프로세스는 핸드오프 판단→짧은 교사 다리 생성→학생 재개→릴레이 궤적으로의 최적화 순으로 동작한다. 결과적으로 학습 토큰 수와 평균 응답 길이를 크게 줄이면서 수학적 추론 정확도를 개선하는 효과가 실험으로 확인됐다.
- 대형 교사 모델을 이용해 소형 또는 중형 학생 모델에 수학·논리 추론 능력을 이전하는 Post-training 파이프라인에 적용할 수 있음이 확인됐다.
- 온-폴리시 증류를 쓰는 상황에서 프리픽스 실패가 잦아 학습 효율이 떨어지는 데이터셋(DAPO-Math-17K 등)에 Relay-OPD를 적용하면 학습 토큰과 시간 비용을 절감할 수 있음이 확인됐다.
- speculative decoding을 이미 사용 중인 추론 인프라에 무리 없이 통합해 teacher logits를 재활용하고 모델 전환 비용을 낮춘 형태로 운영할 수 있음이 확인됐다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- 프리픽스 실패(Prefix Failure)
- — 초기 생성 단계에서 학생 모델이 잘못된 추론 방향으로 진입하면 이후 모든 토큰이 그 잘못을 누적하여 긴 잘못된 연속문을 생성하는 현상으로, 이로 인해 교사의 감독이 무의미하거나 해로워질 수 있음이 확인됐다.
- 온-폴리시 증류(On-Policy Distillation)
- — 학생 정책으로 직접 샘플링한 궤적에 대해 교사가 토큰별로 확률 신호를 제공하여 학생을 업데이트하는 방법으로, 학생의 상태분포에 맞춘 감독을 제공해 train–inference 분포차이를 완화하는 기법임이 확인됐다.
- Speculative Decoding
- — 학생을 드래프트 모델로, 교사를 타깃 모델로 삼아 학생 초안 토큰을 배치 검증하고 필요시 교사 분포에서 잔여분을 샘플링하는 단일 엔진 구현 방식으로, 두 모델 전환 비용을 제거하며 정확한 분포샘플링을 재현한 방식임이 확인됐다.
- 핸드오프 트리거(Handoff Trigger)
- — 교사의 최빈 다음 토큰이 리디렉션용 reflection token 집합 ℛ에 속하고 학생의 Top-K 서포트에는 ℛ의 토큰이 없을 때 발화되는 상태 기반 신호로, 레이블이나 verifier 없이 실패 지점을 탐지하는 기준임이 확인됐다.
- 릴레이 궤적(Relay Trajectory)
- — 학생 다리(student leg)와 교사 다리(teacher leg)를 교차시켜 구성한 궤적으로, 교사가 감지된 트리거에서 짧게 인계해 추론을 바로잡고 학생이 재개하는 구조로 구성되어 훈련 시 프리픽스 실패 영향을 제한한 궤적임이 확인됐다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.