Tool-R0: 제로 데이터 기반 도구 학습을 위한 자가 진화 LLM 에이전트

기존 LLM 에이전트 학습은 사람이 만든 방대한 데이터셋이 필요해 확장이 어려웠다. Tool-R0는 모델 스스로 문제를 내고 풀며 학습하는 자가 진화 방식을 통해 데이터 없이도 전문가 수준의 도구 활용 능력을 갖출 수 있음을 증명했다.

기존의 도구 학습은 사람이 작성한 질문과 도구 호출 쌍에 의존한다. 이는 데이터 구축 비용이 크고 모델이 이미 잘하는 것만 반복 학습하거나 한계를 넘어서는 새로운 시나리오를 탐색하기 어렵게 만든다. Tool-R0는 동일한 모델에서 Generator와 Solver라는 두 역할을 나눈다. Generator는 Solver가 풀기 딱 좋은 수준의 어려운 문제를 만들어내고 Solver는 이를 해결하며 보상을 받는다. 이 과정에서 Solver의 정답률이 50% 내외인 지점을 학습의 최전선으로 정의하고 Generator가 이 영역의 문제를 집중적으로 생성하도록 유도한다. 결과적으로 모델은 외부 도움 없이 스스로 취약점을 찾아 보완하는 선순환 구조를 갖게 된다. 이는 마치 바둑 AI가 스스로 대국하며 실력을 키우듯 언어 모델이 도구 사용 시나리오를 스스로 설계하고 숙달하는 방식으로 진화함을 의미한다.

전체 구조는 Generator와 Solver의 이중 강화학습 구조이다. Generator는 도구 메뉴와 정답 호출을 포함한 과제를 합성하고 Solver는 이를 바탕으로 실제 도구 호출을 예측하도록 학습한다. Generator 학습에는 세 가지 보상이 사용된다. 형식 보상은 JSON 구조 준수 여부를, 유효성 보상은 도구 메뉴와 호출 간의 일관성을, 커리큘럼 보상은 과제의 적정 난이도를 평가한다. 커리큘럼 보상은 Solver의 성공 확률을 기반으로 한 가우시안 밴드패스 필터를 사용한다. Solver의 성공 확률 p_succ를 입력으로 받아 가우시안 함수 exp(-(x-mu)^2/2sigma^2) 연산을 수행한다. p_succ가 0.5 근처일 때 1에 가까운 결과를 얻으며 이는 너무 쉽거나 어렵지 않은 과제가 학습에 가장 높은 가치를 가짐을 의미한다. Solver 학습은 GRPO 알고리즘을 사용하여 도구 호출의 정확도와 형식을 최적화한다. 정확도 보상은 도구 이름 일치, 인자 키 중복, 인자 값 일치 여부를 종합하여 계산된다.

Qwen-2.5-1.5B-Instruct 모델에서 Tool-R0 적용 시 5개 벤치마크 평균 정확도가 24.85%에서 47.84%로 92.5% 상대적 향상을 기록했다. 특히 SNIPS 벤치마크에서는 4.29%에서 20.86%로 약 386%의 성장을 보였다. 인간 데이터 4,000개에서 210,000개를 사용한 지도 학습 기반 모델들과 비교했을 때 Tool-R0는 데이터 없이도 ToolRL(46.06%)이나 Hammer(43.74%) 등의 성능을 능가했다. Ablation Study 결과 Generator와 Solver의 가중치를 공유할 경우 성능이 36.41% 급감하여 역할 분리의 중요성을 입증했다. 또한 난이도 기반 보상을 제거했을 때도 성능이 8.99% 하락했다.

Tool-R0는 GRPO를 기반으로 Generator와 Solver를 교대로 최적화하는 비대칭 자가 대전 프레임워크를 채택했다. Generator는 도구 도메인, 컨텍스트 유형, 도구 개수, 호출 횟수 등의 메타 사양을 입력받아 과제를 생성함으로써 모드 붕괴를 방지하고 생성의 다양성을 확보한다. Solver의 난이도 측정은 몬테카를로 샘플링(K=8)을 통해 수행되며 성공 확률이 0.25에서 0.75 사이인 과제를 최적의 학습 데이터로 간주한다. Solver는 Tool-Integrated Reasoning 인터페이스를 사용하여 think 태그 내에서 추론을 수행한 후 tool_call_answer 태그에 최종 호출을 생성한다. 학습 과정에서 Generator는 구조적 제약 조건을 먼저 학습한 후 내부 일관성을 확보하고 마지막으로 과제 난이도를 보정하는 계층적 학습 양상을 보인다.

소형 모델의 경우 보상 해킹에 취약하여 형식은 맞추지만 실제 품질이 낮은 과제를 생성할 수 있다. 또한 자가 대전이 반복될수록 성능 향상이 정체되는 포화 현상이 관찰되며 이는 모델의 고유한 지식 한계와 관련이 있을 수 있다.