Gemini 3.1 Lite 프리뷰 도구 호출 성능 벤치마크 결과: Qwen 3.5-Flash가 종합 1위 차지

합의점 vs 논쟁점

합의점

단순 호출 벤치마크만으로는 모델의 실제 도구 호출 능력을 완전히 평가할 수 없다.
Qwen 3.5-Flash는 병렬 도구 호출에서 현재 가장 뛰어난 성능을 보여준다.

논쟁점

Gemini 3.1 Lite의 성능이 기대보다 낮게 측정된 점에 대한 원인 분석이 필요하다.

실용적 조언

병렬 도구 호출이 잦은 에이전트를 구축한다면 Qwen 3.5-Flash를 우선적으로 고려해야 한다.
단순 성능 지표에 의존하지 말고 실제 워크로드와 일치하는 병렬 및 순차 호출 벤치마크 데이터를 확인해야 한다.

섹션별 상세

Qwen 3.5-Flash-02-23 모델이 종합 점수 81.76%로 전체 1위를 차지했다. 특히 병렬 도구 호출(live_parallel) 카테고리에서 93.75%라는 압도적인 점수를 기록하며 복잡한 워크로드에서의 강점을 증명했다. 이는 대규모 언어 모델이 단순히 텍스트를 생성하는 수준을 넘어 정교한 외부 도구 조작 능력을 갖추었음을 보여주는 지표이다.

Kimi-K2.5 모델은 단순 도구 호출(live_simple)에서 84.50%로 선두를 달렸으나 다중·병렬 호출 및 무관성 탐지 항목이 포함되자 종합 순위가 2위로 밀려났다. 단순 성능 지표가 실제 복잡한 사용 환경을 대변하지 못한다는 사실이 이번 벤치마크를 통해 명확히 드러났다. 모델의 안정성은 단순 호출보다 예외 상황과 복합 호출 처리 능력에서 결정된다.

Gemini 3.1 Flash Lite는 종합 점수 72.47%로 테스트된 5개 모델 중 최하위를 기록했다. 구글의 최신 경량 모델임에도 불구하고 도구 호출의 정확도와 복잡한 시나리오 대응력에서 경쟁사 모델들에 비해 뒤처지는 모습을 보였다. 이는 특정 작업에 최적화된 모델 선택이 전체 시스템 성능에 얼마나 큰 영향을 미치는지 시사한다.

용어 해설

도구 호출(Tool Calling): — LLM이 외부 API나 함수를 실행하기 위해 필요한 인자를 생성하는 기능이다. 에이전트 시스템이 외부 세계와 상호작용하여 정보를 가져오거나 동작을 수행하는 핵심 메커니즘이다.
병렬 도구 호출(Parallel Tool Calling): — 한 번의 프롬프트로 여러 개의 함수를 동시에 호출하는 기법이다. 작업 처리 효율을 높이고 지연 시간을 줄이는 데 중요하며 복잡한 워크플로를 처리하는 능력을 평가하는 척도가 된다.
버클리 함수 호출 벤치마크(BFCL): — 버클리 대학에서 개발한 함수 호출 전용 성능 평가 리더보드이다. 실제 API 호출 시나리오를 모방하여 모델의 정확도와 복잡한 호출 처리 능력을 정밀하게 측정한다.

언급된 도구

Neo추천

LLM 벤치마크 실행 및 분석 도구

BFCL v4추천

버클리 함수 호출 성능 평가 데이터셋