[DSBA Study] 에이전트 AI: Toolformer와 Gorilla를 통한 LLM의 도구 활용 능력 강화 | AI Trends

서울대학교 DSBA 연구실AI/ML38분2026년 3월 7일 00:24 KST1일 전

[DSBA Study] 에이전트 AI: Toolformer와 Gorilla를 통한 LLM의 도구 활용 능력 강화

LLM이 스스로 도구 사용 시점을 결정하는 Toolformer와 수많은 외부 API 중 최적을 선택하는 Gorilla 모델의 핵심 메커니즘과 학습 전략을 다룹니다.

핵심 요약

LLM이 단순히 텍스트를 생성하는 것을 넘어 스스로 도구의 필요성을 판단하고 방대한 API 생태계에서 정확한 도구를 호출할 수 있도록 하는 학습 방법론을 제시합니다. Toolformer의 자율적 시점 결정과 Gorilla의 대규모 API 검색 및 선택 기법이 핵심입니다.

배경

LLM의 최신 정보 부재와 연산 오류 등의 한계를 극복하기 위해 외부 도구를 활용하는 에이전트 AI의 핵심 기술인 Tool Use 방법론을 소개합니다.

대상 독자

LLM 에이전트 시스템 구축 및 도구 활용 기법에 관심 있는 AI 개발자와 연구자

의미 / 영향

이 영상은 LLM이 정적인 지식 저장소를 넘어 동적인 도구 활용 에이전트로 진화하는 과정을 명확히 보여줍니다. 개발자가 모든 도구 사용 예시를 수동으로 라벨링하지 않아도 모델이 스스로 학습하거나 방대한 API 생태계에서 최적의 도구를 실시간으로 선택하는 기술은 복잡한 기업용 AI 에이전트 시스템 구축의 핵심 기반이 될 것입니다.

주요 장면

0114:40API 호출 결과가 포함되었을 때와 그렇지 않을 때의 Loss 차이를 계산하여 도구 사용의 가치를 수치화하는 핵심 로직을 보여줍니다.

Toolformer의 API 호출 유용성 판단을 위한 손실 함수 비교 수식

0222:28사용자 질문에 대해 검색기가 API DB에서 관련 문서를 찾아 모델에 전달하고 모델이 이를 참조하여 최종 API Call을 생성하는 전체 워크플로우를 설명합니다.

Gorilla의 리트리버 어웨어 파인튜닝(Retriever-aware Fine-tuning) 아키텍처 다이어그램

챕터별 상세

00:00

Tool Use의 기초와 문제 정의

에이전트 관점에서 Tool Use란 LLM이 단순히 자연어로 명령하는 것이 아니라 기계가 즉시 실행 가능한 구조화된 형식(Machine-executable Structured Format)을 생성하는 과정입니다. 이를 위해 구문적 신뢰성(Syntax Reliability), 도구 사용의 유용성 판단(Utility-aware Decision), 그리고 수많은 API 중 최적을 고르는 개방형 도구 선택(Open-world Tool Selection)이라는 세 가지 레이어의 문제를 해결해야 합니다. 본 세션에서는 이 중 유용성 판단과 대규모 선택 문제를 해결한 두 가지 핵심 연구를 다룹니다.

에이전트 신뢰성의 기반이 되는 구조화된 출력의 중요성 • Tool Use 문제를 Syntax, Utility, Open-world Selection으로 분해 • Toolformer와 Gorilla 연구의 패러다임 차이 설명

04:36

Toolformer: 스스로 도구 사용법을 익히는 LLM

Toolformer는 LLM이 스스로 API 호출이 미래 토큰 예측에 도움이 되는지 판단하여 자기 주도적으로 학습하는 셀프 슈퍼바이즈드(Self-supervised) 방식의 모델입니다. 기존 방식처럼 사람이 일일이 도구 사용 주석을 달 필요가 없으며 검색, 계산기, 번역, 캘린더 등 5가지 도구를 활용합니다. 모델은 퓨샷 프롬프트(Few-shot Prompt)를 통해 잠재적인 API 호출 후보를 생성하고 실제 실행 결과가 전체 손실 함수(Loss Function)를 줄이는 데 기여할 때만 해당 데이터를 학습에 사용합니다.

사람의 개입 없이 스스로 도구 사용 시점을 결정하는 학습 메커니즘 • 검색, 계산기, 번역 등 LLM의 취약점을 보완하는 5가지 도구 선정 • API 호출 결과가 예측 성능을 높이는지 판단하는 필터링 과정

11:35

Toolformer의 데이터 생성 및 학습 프로세스

Toolformer의 학습은 주석 생성(Annotation), 필터링(Filtering), 파인튜닝(Fine-tuning)의 3단계로 구성됩니다. 먼저 모델은 텍스트의 특정 위치에 API 호출 토큰이 등장할 확률을 계산하여 후보 위치를 선정합니다. 이후 실제 API를 실행하여 얻은 결과값을 포함했을 때의 크로스 엔트로피 손실(Cross Entropy Loss)과 포함하지 않았을 때의 손실을 비교합니다. 손실값이 일정 임계치 이상 감소하는 유용한 호출 데이터만을 선별하여 최종적으로 모델을 재학습시킴으로써 도구 활용 능력을 내재화합니다.

API 호출 토큰 발생 확률을 기반으로 한 호출 위치 선정 로직 • API 실행 결과 포함 여부에 따른 손실값 비교 및 유용성 판별 수식 • 필터링된 양질의 도구 활용 데이터를 통한 모델 파인튜닝

17:28

Toolformer 실험 결과 및 성능 분석

실험 결과 Toolformer는 대부분의 다운스트림 태스크에서 베이스라인 모델 대비 일관된 성능 향상을 보였습니다. 특히 계산기 도구를 활용할 때 단순 연산뿐만 아니라 수학적 추론 능력 자체가 향상되는 효과를 확인했습니다. 스케일링 법칙(Scaling Laws) 관점에서는 모델 크기가 755M 파라미터 이상일 때부터 도구 활용 효과가 두드러지게 나타났습니다. 이는 모델이 도구를 적절히 활용하기 위해 최소한의 기초 지능이 필요함을 시사하며 도구 사용이 모델 크기와 무관하게 성능을 극대화할 수 있음을 증명했습니다.

계산기 도구 활용을 통한 수학적 추론 성능의 비약적 향상 • 모델 크기에 따른 도구 활용 효율성의 임계점 확인 • 도구 사용이 LLM의 제너럴리티(Generality)를 해치지 않음을 입증

21:09

Gorilla: 수만 개의 API를 다루는 에이전트

Gorilla는 현실 세계의 수많은 API 중 사용자의 의도에 맞는 정확한 도구를 선택하고 할루시네이션(Hallucination)을 줄이는 데 집중한 연구입니다. 기존 모델들이 존재하지 않는 API를 호출하거나 잘못된 라이브러리를 사용하는 문제를 해결하기 위해 리트리버 어웨어 파인튜닝(Retriever-aware Fine-tuning) 기법을 도입했습니다. 이는 학습 시점에 검색기(Retriever)가 가져온 API 문서를 참조하여 답을 내도록 훈련함으로써 API 명세가 변경되거나 새로운 도구가 추가되어도 재학습 없이 대응할 수 있는 유연성을 제공합니다.

수만 개의 API 환경에서 정확한 호출을 위한 리트리버 통합 학습 • API 문서 참조를 통한 할루시네이션 억제 및 정확도 향상 • API 업데이트에 즉각 대응 가능한 테스트 타임 유연성 확보

27:28

Gorilla의 API Bench 구축 및 학습 전략

Gorilla 연구팀은 TorchHub, TensorFlow Hub, HuggingFace에서 수집한 1,645개의 API로 구성된 API Bench를 직접 구축했습니다. 이를 바탕으로 GPT-4를 활용해 16,450개의 명령어-API 쌍 데이터를 생성하는 셀프 인스트럭트(Self-Instruct) 과정을 거쳤습니다. 학습 시에는 API 이름을 직접 주지 않고 기능적 요구사항과 제약 조건(Constraint)을 포함한 프롬프트를 사용하여 모델이 API의 본질적인 기능을 이해하고 선택하도록 유도했습니다. 또한 검색된 문서를 파싱하여 답변에 반영하는 능력을 극대화했습니다.

대규모 API 활용 능력을 평가하기 위한 API Bench 데이터셋 구축 • API 이름에 의존하지 않는 기능 중심의 명령어 생성 전략 • 검색된 API 문서를 실시간으로 참조하여 호출 코드를 생성하는 구조

31:49

Gorilla 실험 결과 및 실무적 의의

Gorilla는 7B라는 작은 크기임에도 불구하고 API 호출 정확도 면에서 GPT-4를 능가하는 성능을 보여주었습니다. 특히 API 문서가 변경되는 시나리오에서 검색기를 통해 최신 정보를 반영하여 정확한 코드를 생성하는 능력이 탁월했습니다. 또한 파라미터 수나 정확도 제한과 같은 복잡한 제약 조건이 주어졌을 때도 이를 이해하고 적절한 API를 추천하는 추론 능력을 입증했습니다. 이는 대규모 API 생태계를 가진 기업 환경에서 에이전트 AI를 구축할 때 매우 실무적인 해결책이 될 수 있음을 시사합니다.

특화된 학습을 통해 소형 모델로도 거대 모델의 API 호출 성능 추월 • API 명세 변경 및 제약 조건 처리에 대한 강력한 적응력 확인 • 실무 환경에서의 에이전트 확장성을 위한 리트리버 기반 구조의 효용성

용어 해설

Tool Use: — LLM이 외부 API나 소프트웨어 도구를 호출하여 자신의 지식 한계를 극복하고 작업을 수행하는 능력입니다.
Self-supervised Learning: — 별도의 정답 라벨 없이 데이터 자체에서 학습 신호를 찾아 모델을 훈련시키는 방식입니다.
Retriever-aware Training: — 모델이 학습 시점에 외부 검색기(Retriever)가 제공하는 문서를 참조하여 답변하도록 훈련하는 기법입니다.
Hallucination: — AI 모델이 존재하지 않는 정보를 사실인 것처럼 그럴듯하게 생성해내는 현상입니다.

실무 Takeaway

LLM의 도구 사용 시점은 Next-token Loss 감소량을 기준으로 모델이 스스로 학습하게 할 수 있습니다.
수만 개의 API를 다루는 환경에서는 검색기(Retriever)를 학습 과정에 통합하여 문서 참조 능력을 키우는 것이 필수적입니다.
API 문서가 수시로 업데이트되는 실무 환경에서는 재학습 없이 검색된 문서만으로 대응 가능한 Retriever-aware 구조가 매우 효율적입니다.
모델이 도구를 효과적으로 활용하기 위해서는 최소한의 기초 지능(약 700M 파라미터 이상)이 뒷받침되어야 합니다.

언급된 리소스

논문Toolformer: Language Models Can Teach Themselves to Use Tools

논문Gorilla: Large Language Model Connected with Massive APIs

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료