다중 단계 도구 사용 강화학습의 붕괴 원인과 감독 신호에 의한 복구 방법

도구 호출을 포함하는 장기 상호작용에서 RL만으로 학습하면 특정 제어 토큰의 확률이 비정상적으로 증폭되어 구조적 생성이 붕괴하는 현상이 빈번히 발생한다. 이러한 붕괴는 모델의 내재적 추론 능력 상실이 아니라 토큰 수준의 분포 재배치로 인한 형식적 실패로 규정되므로 보상만으로 해결하기 어렵다. 이 논문은 다양한 감독 신호를 체계적으로 비교하여 구조적 행동을 제어함으로써 안정적이고 일반화 가능한 도구 사용 학습을 가능하게 하는 실험적 근거를 제공한다.

다중 단계 도구 사용 문제는 각 단계에서 도구 호출과 자연어 응답을 엄격한 형식으로 섞어 생성해야 하는 시퀀스 제어 문제이다. 기초적으로 LLM은 시점별 토큰 확률 분포에 기반해 다음 토큰을 샘플링하므로 특정 제어 토큰의 확률이 점점 커지면 전체 생성 패턴이 구조적으로 왜곡된다. 따라서 보상 신호만으로는 토큰 단위의 형식 보존을 강제하기 어렵고 형식적 제약을 제공하는 감독 신호가 필요하다.

이 논문은 감독 신호가 어떻게 작동하는지를 제어 토큰 역학 관점에서 연결하였다. 구체적으로, SFT는 고품질 궤적으로 초기화하여 토큰 분포를 올바른 구조로 유도하고 RL은 그 위에서 탐색을 통해 추가 능력을 발현시키는 역할을 수행한다. 그러나 SFT만으로는 형식 오버피팅(format overfitting)이 발생하여 OOD 형식에 취약해지므로 감독과 RL을 단순 병합하는 대신 교차(interleaved) 전략이 필요하다.

Process Reflection Supervision은 중간 상태 정보를 텍스트 반영으로 변환하여 모델에 명시적 구조·논리 피드백을 제공하는 방식이다. 이 방식은 중간 결정의 오류 유형과 구조적 결함을 문장 단위로 학습시키므로 토큰 분포가 잘못 증폭되는 경로를 억제한다. 결과적으로 PRS는 형식적 다양성에 더 견고한 정책을 형성하여 안정성과 일반화를 동시에 개선하였다.

전체 접근 방식은 감독 신호 유형을 정의하고 이들을 동기화(synchronous)와 교차(interleaved) 학습 패러다임으로 분류하여 동일 데이터·보상 설정에서 비교하는 것이다. 실험 파이프라인은 먼저 SFT 데이터로 모델을 초기화하거나 SFT와 RL을 교차로 수행하는 방식으로 구성되고, 각 방법은 동일한 GRPO 기반 RL 업데이트를 사용하여 공정 비교가 가능하도록 통일되었다. 평가에는 BFCL-V3와 ACEBench의 ID 및 OOD 형식·내용 축을 사용하여 안정성과 일반화를 별도로 측정하였다.

각 감독 신호는 구체적 손실 함수와 샘플링 처리를 가진다. SFT 단계는 궤적 분해를 통해 단일-스텝 SFT 손실을 적용하였고 수식(식 3)에서처럼 로그우도를 최소화하였다. Off-Policy Supervision은 온·오프 정책 궤적을 통합하여 정규화된 이점을 계산하고 CLIP 기반 surrogate objective(식 5)를 적용하여 온·오프 궤적을 동일한 중요비율로 처리하였다.

Hint-based Guidance는 샘플링 시점에만 힌트를 전처리로 추가하고 최적화 시에는 힌트를 제거하여 정책이 힌트에 의존하지 않도록 설계하였다. Erroneous Trajectory Supervision은 RL 실패 사례를 수집하여 해당 쿼리의 정답 궤적을 SFT 데이터로 변환하고 일정 스케줄에 따라 RL 업데이트와 교차로 적용하였다. Process Reflection Supervision은 중간 궤적을 LLM(또는 보조 분석기)으로 처리하여 r_tau_ref 형태의 반영 텍스트를 생성하고 이 텍스트를 조건부 생성 목표로 학습시키는 반영 손실(식 10)을 추가하였다.

구현 세부에서는 Qwen2.5-1.5B-Instruct와 Qwen3-1.7B를 사용하였고 BFCL-V3의 세부 설정(Base, Miss Func, Miss Param, Long Context)을 실험에 반영하였다. 학습률 민감도 실험에서 1e-6과 1e-5를 비교하여 교차 학습과 동기화 학습의 안정성 차이를 분석하였다. 모든 비교에서는 동일한 보상 함수와 GRPO 구성요소를 유지하여 감독 신호의 영향만을 분리하였다.

주요 실험에서는 Qwen2.5-1.5B-Instruct에서 Process Reflection Supervision(PRS)이 평균 점수 25.75로 가장 높은 성능을 기록하였다. Erroneous Trajectory Supervision(ETS)도 높은 성능을 보였으며 반대로 GRPO 단독 또는 단순 동기화된 감독은 붕괴나 열악한 평균 성능을 초래하였다. 이 결과는 인터리브된 SFT와 반영 기반 감독이 구조적 안정성에 핵심적임을 실증하였다.

KL 추적과 토큰 빈도 로그 분석에서 RL 단독은 특정 제어 토큰의 KL 스파이크와 함께 보상 붕괴를 유발하는 반면, SFT 초기화나 교차 감독을 적용하면 KL 스파이크가 억제되어 훈련이 안정화되었다. 학습률 실험에서는 보수적 학습률(1e-6)보다 상대적으로 큰 학습률(1e-5)이 교차 학습 하에서 더 나은 성능을 보이는 경향이 관찰되었다. 이 결과는 다중 단계 도구 사용 학습이 전통적 RL 학습률 관행보다 큰 스케일 민감성을 가짐을 시사한다.

OOD 일반화 실험에서는 SFT 단독이 ID 성능을 높였으나 형식 OOD에서 성능 저하가 크며 포맷 오버피팅 현상이 확인되었다. 반면 PRS는 형식과 내용 OOD에서 비교적 우수한 회복력을 보였고 단일 스텝 성능 감소를 과정 레벨의 설명으로 부분 보완하였다. 전체적으로 결과는 토큰 수준의 구조 보존을 위한 프로세스 중심의 감독이 실사용 환경에서 더 견고한 정책을 만든다는 결론으로 이어진다.

아키텍처 측면에서 논문은 기존 LLM 아키텍처를 변경하지 않고 훈련 파이프라인 설계로 문제를 해결한다. 즉 모델 구조는 Qwen 계열을 사용하며 제안하는 핵심은 감독 신호의 형태와 학습 스케줄에 있다. 따라서 구현은 기존 Transformer 기반 모델을 대상으로 SFT 단계와 RL 업데이트를 조합하는 방식으로 이루어졌다.

핵심 메커니즘은 토큰 수준 확률 재배치의 억제와 과정 수준 반영 학습이다. 수학적으로는 SFT 손실(식 3)은 시퀀스 단위 로그우도 합을 최소화하며, OPS는 온·오프 궤적을 통합한 정규화된 advantage(식 4)를 CLIP surrogate(식 5)로 처리한다. PRS는 궤적을 텍스트 반영으로 변환하여 해당 반영을 조건부 생성 목표로 학습시키는 반영 손실(식 10)을 추가함으로써 중간 의사결정의 구조적 오류를 직접 목표로 한다.

Prior work 대비 차별점은 감독 신호를 단순 보조 데이터가 아닌 정책 분포 안정화 수단으로 명시적으로 취급한 점이다. 많은 선행 연구는 전문가 궤적을 추가하는 방식으로 성능을 향상시켰으나 본 논문은 오히려 특정 감독 조합이 토큰 분포 불일치로 KL 스파이크를 유발할 수 있음을 보여주었다. 따라서 본 연구는 감독 신호의 샘플링·비율·스케줄을 통제하는 통합 프레임워크를 제시하여 동기화와 교차 방식의 장단을 규명하였다.

구현 및 학습 세부사항으로는 BFCL-V3 데이터 분할, SFT에서의 다중-턴 분해 전략, GRPO 기반 RL 업데이트 사용, 오류 기반 SFT 샘플링 및 PRS를 위한 반영 생성에 LLM 기반 분석기를 활용한 점이 있다. 학습률 민감도 실험에서는 1e-6과 1e-5를 비교하여 상대적 안정성 차이를 확인하였고, KL 모니터링을 통해 훈련 붕괴 지점을 추적하였다. 보상 설계와 구체적 하이퍼파라미터는 본문과 부록의 Appendix B에 기술되어 있다.

논문은 사용 가능한 오픈 소스 검증 가능한 도구 호출 환경의 제약으로 인해 훈련 데이터 규모가 상대적으로 제한되었음을 명시하였다. 데이터 규모가 확대될 경우 제안한 감독 신호의 효과가 어떻게 변하는지는 본 연구에서 실험적으로 검증되지 않았다. 또한 PRS와 ETS의 성능이 모델 규모나 다른 아키텍처에서 동일하게 재현되는지에 대한 추가 실험이 필요하다고 기술되어 있다.