실제 사용자 환경에서의 LLM 도구 사용 벤치마크: WildToolBench

기존 LLM 도구 사용 벤치마크는 실제 사용자의 복잡하고 유연한 상호작용 패턴을 충분히 반영하지 못해 모델의 성능을 과대평가하는 경향이 있었다. 연구진은 구성적 작업, 암시적 의도, 지시어 전환이라는 세 가지 핵심 도전 과제를 식별하고 이를 기반으로 한 WildToolBench를 구축했다. 57개의 주요 LLM을 대상으로 포괄적인 평가를 수행한 결과, 모든 모델이 15% 미만의 정확도를 기록하며 실제 환경에서의 견고함이 크게 부족함이 확인됐다. 이 결과는 인위적인 복잡성보다 실제 사용자 행동의 야생적인 특성이 LLM 에이전트 능력의 진정한 병목임을 시사한다.