소형 LLM의 함수 호출 성능 비교: Needle vs Qwen3

작성자의 벤치마크 방법론과 모델별 실패 유형 분석에 대해 많은 개발자가 공감하며, 특히 소형 모델 조합을 통한 아키텍처 최적화 전략에 높은 관심을 보였다.

• 도구 호출 성능 평가 시 전체 평균이 아닌 개별 도구별 정확도를 측정하라.
• 사용자 쿼리가 암시적인 경우, 일반적인 모델보다 함수 호출에 특화된 소형 모델을 라우터로 활용하라.
• 모델의 도구 호출 실패가 파싱 문제인지 도구 선택 문제인지 파악하여 대응 전략을 수립하라.

• 도구 호출 모델 선택 시 벤치마크 평균 점수보다 실제 사용자 쿼리 분포(명시적 vs 암시적)를 우선 고려해야 한다.
• 모델별 실패 유형(파싱 실패 vs 도구 선택 오류)을 파악하면 프롬프트 엔지니어링이나 라우팅 레이어 등 대응 전략을 최적화할 수 있다.
• 소형 모델을 조합한 2단계 캐스케이드 아키텍처(라우터 + 폴백)가 단일 모델보다 도구 호출 성능과 효율성 측면에서 우수할 수 있다.