CoVe: 제약 조건 가이드 검증을 통한 대화형 도구 사용 에이전트 학습

다회차 대화형 도구 사용(multi-turn interactive tool-use) 에이전트를 개발하는 것은 실제 사용자의 요구사항이 복잡하고 모호한 반면, 에이전트는 이를 충족하기 위해 결정론적인 행동을 수행해야 하기 때문에 매우 어렵습니다. 이러한 격차를 해소하기 위해, 데이터의 복잡성과 정확성을 모두 보장하면서 대화형 도구 사용 에이전트를 학습시키기 위해 설계된 사후 학습 데이터 합성(post-training data synthesis) 프레임워크인 CoVe(Constraint-Verification)를 소개합니다. CoVe는 명시적인 작업 제약 조건(task constraints)을 정의하는 것으로 시작하며, 이는 복잡한 궤적(trajectory) 생성을 가이드하고 궤적 품질을 평가하기 위한 결정론적 검증기(deterministic verifiers) 역할을 하는 이중적인 기능을 수행합니다. 이를 통해 지도 미세 조정(supervised fine-tuning, SFT)을 위한 고품질 학습 궤적을 생성하고 강화학습(reinforcement learning, RL)을 위한 정확한 보상 신호를 도출할 수 있습니다. 까다로운 τ²-bench 벤치마크에서의 평가는 이 프레임워크의 효과를 입증합니다. 특히, 컴팩트한 CoVe-4B 모델은 항공(Airline) 및 소매(Retail) 도메인에서 각각 43.0%와 59.4%의 성공률을 기록했으며, 전체적인 성능은 비슷한 규모의 강력한 베이스라인들을 크게 능가하고 최대 17배 큰 모델들과도 대등한 수준을 유지합니다. 이러한 결과는 CoVe가 최첨단 대화형 도구 사용 에이전트를 위한 학습 데이터를 합성하는 효과적이고 효율적인 경로를 제공함을 나타냅니다. 향후 연구를 지원하기 위해 코드, 학습된 모델, 그리고 학습에 사용된 12,000개의 고품질 궤적 전체 세트를 오픈 소스로 공개합니다.