Tool-R0: 제로 데이터 기반 도구 학습을 위한 자가 진화 LLM 에이전트

기존 LLM 에이전트 학습은 사람이 만든 방대한 데이터셋이 필요해 확장이 어려웠다. Tool-R0는 모델 스스로 문제를 내고 풀며 학습하는 자가 진화 방식을 통해 데이터 없이도 전문가 수준의 도구 활용 능력을 갖출 수 있음을 증명했다.

왜 중요한가

핵심 기여

Tool-R0 자가 진화 프레임워크

Generator와 Solver가 상호 보완적인 보상을 통해 함께 진화하는 자가 대전 기반의 도구 학습 구조를 구축했다.

난이도 기반 보상 설계

Solver의 불확실성을 측정하여 너무 쉽거나 어렵지 않은 적정 난이도의 과제를 생성하도록 유도하는 밴드패스 필터 형태의 보상을 도입했다.

역할 분리 및 비대칭성 확보

Generator와 Solver의 파라미터를 분리하여 탐색과 실행이라는 서로 다른 목표 간의 충돌을 방지하고 학습 안정성을 확보했다.

성능 입증 및 효율성

Qwen-2.5-1.5B 모델 기준 베이스 모델 대비 92.5% 성능 향상을 기록했으며 수만 개의 인간 데이터를 사용한 지도 학습 모델보다 우수한 성능을 보였다.

핵심 아이디어 이해하기

기존의 도구 학습은 사람이 작성한 질문과 도구 호출 쌍에 의존한다. 이는 데이터 구축 비용이 크고 모델이 이미 잘하는 것만 반복 학습하거나 한계를 넘어서는 새로운 시나리오를 탐색하기 어렵게 만든다. Tool-R0는 동일한 모델에서 Generator와 Solver라는 두 역할을 나눈다. Generator는 Solver가 풀기 딱 좋은 수준의 어려운 문제를 만들어내고 Solver는 이를 해결하며 보상을 받는다. 이 과정에서 Solver의 정답률이 50% 내외인 지점을 학습의 최전선으로 정의하고 Generator가 이 영역의 문제를 집중적으로 생성하도록 유도한다. 결과적으로 모델은 외부 도움 없이 스스로 취약점을 찾아 보완하는 선순환 구조를 갖게 된다. 이는 마치 바둑 AI가 스스로 대국하며 실력을 키우듯 언어 모델이 도구 사용 시나리오를 스스로 설계하고 숙달하는 방식으로 진화함을 의미한다.

방법론

전체 구조는 Generator와 Solver의 이중 강화학습 구조이다. Generator는 도구 메뉴와 정답 호출을 포함한 과제를 합성하고 Solver는 이를 바탕으로 실제 도구 호출을 예측하도록 학습한다. Generator 학습에는 세 가지 보상이 사용된다. 형식 보상은 JSON 구조 준수 여부를, 유효성 보상은 도구 메뉴와 호출 간의 일관성을, 커리큘럼 보상은 과제의 적정 난이도를 평가한다. 커리큘럼 보상은 Solver의 성공 확률을 기반으로 한 가우시안 밴드패스 필터를 사용한다. Solver의 성공 확률 p_succ를 입력으로 받아 가우시안 함수 exp(-(x-mu)^2/2sigma^2) 연산을 수행한다. p_succ가 0.5 근처일 때 1에 가까운 결과를 얻으며 이는 너무 쉽거나 어렵지 않은 과제가 학습에 가장 높은 가치를 가짐을 의미한다. Solver 학습은 GRPO 알고리즘을 사용하여 도구 호출의 정확도와 형식을 최적화한다. 정확도 보상은 도구 이름 일치, 인자 키 중복, 인자 값 일치 여부를 종합하여 계산된다.

주요 결과

Qwen-2.5-1.5B-Instruct 모델에서 Tool-R0 적용 시 5개 벤치마크 평균 정확도가 24.85%에서 47.84%로 92.5% 상대적 향상을 기록했다. 특히 SNIPS 벤치마크에서는 4.29%에서 20.86%로 약 386%의 성장을 보였다. 인간 데이터 4,000개에서 210,000개를 사용한 지도 학습 기반 모델들과 비교했을 때 Tool-R0는 데이터 없이도 ToolRL(46.06%)이나 Hammer(43.74%) 등의 성능을 능가했다. Ablation Study 결과 Generator와 Solver의 가중치를 공유할 경우 성능이 36.41% 급감하여 역할 분리의 중요성을 입증했다. 또한 난이도 기반 보상을 제거했을 때도 성능이 8.99% 하락했다.

기술 상세

Tool-R0는 GRPO를 기반으로 Generator와 Solver를 교대로 최적화하는 비대칭 자가 대전 프레임워크를 채택했다. Generator는 도구 도메인, 컨텍스트 유형, 도구 개수, 호출 횟수 등의 메타 사양을 입력받아 과제를 생성함으로써 모드 붕괴를 방지하고 생성의 다양성을 확보한다. Solver의 난이도 측정은 몬테카를로 샘플링(K=8)을 통해 수행되며 성공 확률이 0.25에서 0.75 사이인 과제를 최적의 학습 데이터로 간주한다. Solver는 Tool-Integrated Reasoning 인터페이스를 사용하여 think 태그 내에서 추론을 수행한 후 tool_call_answer 태그에 최종 호출을 생성한다. 학습 과정에서 Generator는 구조적 제약 조건을 먼저 학습한 후 내부 일관성을 확보하고 마지막으로 과제 난이도를 보정하는 계층적 학습 양상을 보인다.

한계점

소형 모델의 경우 보상 해킹에 취약하여 형식은 맞추지만 실제 품질이 낮은 과제를 생성할 수 있다. 또한 자가 대전이 반복될수록 성능 향상이 정체되는 포화 현상이 관찰되며 이는 모델의 고유한 지식 한계와 관련이 있을 수 있다.

실무 활용

인간의 개입 없이도 특정 도구 세트에 특화된 에이전트를 자동으로 구축할 수 있는 기술이다. 기업 내부 API나 새로운 도구 환경에 LLM을 빠르게 적응시켜야 하는 실무 환경에서 유용하다.

기업 내부 전용 API 호출 에이전트 자동 학습
새로운 소프트웨어 라이브러리 활용 가이드 에이전트 생성
복잡한 멀티스텝 워크플로우 자동화 시나리오 테스트 및 학습
데이터가 부족한 특수 도메인의 도구 활용 능력 강화

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM(대형 언어 모델)Self-play(자가 대전)Reinforcement Learning(강화학습)Tool-calling(도구 호출)Curriculum Learning(커리큘럼 학습)Zero-data(제로 데이터)

용어 해설

자가 대전(Self-play): — 모델이 스스로 생성한 데이터나 자기 자신과의 상호작용을 통해 학습하는 기법이다. 외부의 정답 데이터 없이도 모델이 스스로 문제를 내고 풀며 성능을 개선할 수 있어 데이터 확장성이 매우 높다.
커리큘럼 학습(Curriculum Learning): — 쉬운 개념부터 시작하여 점진적으로 난이도를 높여가며 학습하는 전략이다. 모델의 현재 수준에 맞는 적절한 난이도의 과제를 제공함으로써 학습의 효율성과 안정성을 극대화한다.
그룹 상대 정책 최적화(GRPO): — 별도의 가치 모델 없이 그룹 내 샘플들의 상대적 보상을 비교하여 정책을 업데이트하는 강화학습 알고리즘이다. 계산 효율성이 높고 대규모 언어 모델의 정렬 및 추론 능력 향상에 효과적이다.
도구 호출(Tool-calling): — LLM이 외부 API나 함수를 실행하기 위해 필요한 인자값을 생성하는 능력이다. 모델의 정적 지식을 넘어 실시간 정보 검색이나 계산기 실행 등 외부 도구와의 상호작용을 가능하게 한다.

Tool-R0: 제로 데이터 기반 도구 학습을 위한 자가 진화 LLM 에이전트

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

SPADE로 스스로 학습 환경을 만드는 LLM

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

SPADE로 스스로 학습 환경을 만드는 LLM