신뢰할 수 있는 LLM 에이전트 도구 사용을 위한 도구 설명 재작성 학습

섹션별 상세

LLM 에이전트의 도구 사용 성능은 도구의 자연어 설명과 파라미터 스키마 품질에 좌우되지만, 기존 설명은 인간을 위해 작성되어 에이전트가 대규모 도구 세트에서 선택할 때 혼란을 야기한다.

기존의 도구 인터페이스 최적화 방식은 실제 실행 기록에 의존하므로 데이터가 부족한 콜드 스타트 상황이나 개인정보 보호 제약이 있는 환경에서는 적용이 불가능하다.

Trace-Free+는 커리큘럼 학습 기법을 도입하여 실행 기록이 있는 환경에서 학습한 지식을 기록이 없는 환경으로 전이시켜 재사용 가능한 인터페이스 패턴을 학습하도록 유도한다.

다양한 도구 모음에서 구조화된 워크플로우를 통해 고품질 도구 인터페이스로 구성된 대규모 데이터셋을 구축하여 모델의 학습과 일반화 능력을 지원했다.

StableToolBench 및 RestBench 벤치마크 테스트 결과, 학습 과정에서 보지 못한 도구에 대해서도 일관된 성능 향상을 보였으며 도구 수가 100개 이상으로 늘어나도 안정적인 성능을 유지했다.

커리큘럼 학습(Curriculum Learning): — 쉬운 데이터나 작업부터 시작하여 점진적으로 난이도를 높여가며 모델을 학습시키는 기법이다. 모델이 복잡한 패턴을 더 안정적으로 학습하고 최종 성능을 높이는 데 기여한다.
실행 기록(Execution Trace): — LLM 에이전트가 도구를 호출하고 결과를 반환받는 일련의 과정에 대한 상세 로그 데이터이다. 도구 사용의 성공 여부와 패턴을 분석하는 데 필수적이지만 실제 환경에서는 구하기 어려운 경우가 많다.
콜드 스타트(Cold-start): — 새로운 도구나 시스템이 도입되어 학습에 필요한 과거 데이터나 실행 기록이 전혀 없는 초기 상태를 의미한다. 데이터 기반 최적화가 불가능한 상황에서 성능을 확보하는 것이 주요 과제이다.
도구 인터페이스(Tool Interface): — LLM이 외부 도구를 이해하고 사용하기 위해 제공되는 자연어 설명과 파라미터 스키마의 집합이다. 에이전트가 올바른 도구를 선택하고 정확한 인자를 전달하는 데 핵심적인 역할을 한다.
교차 도메인 일반화(Cross-domain Generalization): — 특정 도메인(분야)에서 학습한 모델이 학습 과정에서 보지 못한 새로운 분야의 데이터나 도구에 대해서도 높은 성능을 유지하는 능력이다.