바이브 코딩에서의 LLM 도구 호출 한계 테스트: 200개 이상의 도구 연결 시 모델별 성능 비교

실용적 조언

많은 도구를 사용해야 하는 에이전트를 구축할 때는 Claude Opus 계열을 우선 고려하라.
로컬 모델을 고집한다면 최소 27B 이상의 모델을 사용하고 도구 개수를 40개 미만으로 제한하라.
모델이 자꾸 엉뚱한 도구를 호출한다면 전체 도구 목록을 줄이거나 기능을 통합하여 컨텍스트 부하를 줄여야 한다.

섹션별 상세

기존 도구 호출 벤치마크인 BFCL이나 ToolBench는 대개 10~30개의 도구만 테스트하여 실제 복잡한 개발 환경을 반영하지 못한다. 작성자는 215개의 실제 도구를 구축하고 동일한 IDE와 프롬프트 조건에서 모델들이 얼마나 많은 도구를 정확히 식별하고 호출하는지 측정했다. 텍스트 생성 점수가 높더라도 실제 도구 연결 시에는 모델이 '수행 불가'를 선언하거나 엉뚱한 도구를 호출하는 현상이 빈번하게 발생했다.

로컬 LLM의 경우 모델 크기가 도구 처리 능력의 결정적 요인으로 나타났다. 27B 미만의 소형 모델들은 대부분 40개 이상의 도구를 감당하지 못했으며, 특히 14B 이하의 양자화 모델들은 10개 이상의 도구에서도 오작동했다. 27B 이상의 모델이 되어서야 40~100개 사이의 도구를 처리할 수 있는 최소한의 안정성을 확보했다.

상용 모델 간에도 대규모 도구 처리 능력에서 뚜렷한 차이가 관찰됐다. GPT-5.4는 120개 이상의 도구부터 정확도가 하락하며 오호출이 증가했고, Gemini 3.1은 동일 조건에서도 성공과 실패를 반복하는 높은 변동성을 보였다. 반면 Claude Opus 4.6은 215개의 도구 전체를 연결한 상태에서도 가장 안정적인 성능을 유지하며 실무 적용 가능성을 입증했다.

작성자는 이 테스트 결과를 바탕으로 IDE가 연결된 모델의 한계치에 맞춰 도구 노출 개수를 자동으로 조절하는 기능을 SandClaw에 구현했다. 500개에서 시작해 100개 단위로 줄여가며 모델이 오류 없이 처리 가능한 최적의 도구 세트 크기를 찾아낸다. 이는 모델의 벤치마크 점수보다 해당 모델이 감당 가능한 '도구 가용 범위' 내에서 작업하는 것이 바이브 코딩의 핵심임을 시사한다.

용어 해설

도구 호출(Tool Calling): — LLM이 외부 API나 함수를 실행하기 위해 적절한 도구를 선택하고 인자를 생성하는 능력이다. 모델이 텍스트 생성을 넘어 실제 시스템과 상호작용하며 복잡한 작업을 수행하게 하는 핵심 메커니즘이다.
바이브 코딩(Vibe Coding): — 엄격한 설계나 전통적인 코딩 방식 대신 AI 에이전트와 대화하며 직관적으로 코드를 생성하고 수정하는 개발 방식이다. AI의 도구 활용 능력과 컨텍스트 이해도에 크게 의존하는 것이 특징이다.
양자화(Quantization): — 모델의 가중치를 낮은 비트(예: 4비트)로 압축하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 효율성은 높지만 도구 호출과 같은 정밀한 추론 작업에서는 성능 저하가 발생할 수 있다.
모델 컨텍스트 프로토콜(Model Context Protocol): — AI 모델이 다양한 데이터 소스 및 도구와 표준화된 방식으로 연결될 수 있도록 돕는 개방형 프로토콜이다. 도구 선택 시 발생하는 프롬프트 비대화 문제를 해결하고 상호운용성을 높이는 데 기여한다.

언급된 도구

SandClaw추천

투자용 데스크톱 앱이자 모델별 도구 호출 한계를 테스트하는 기능을 포함한 개발 환경

BFCL중립

버클리 함수 호출 리더보드 (도구 호출 성능 측정 벤치마크)

언급된 리소스

논문RAG-MCP: Mitigating Prompt Bloat in LLM Tool Selection

논문ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

문서BFCL: The Berkeley Function Calling Leaderboard