17개 로컬 LLM 대상 실전 MCP 도구 호출 벤치마크 결과 분석

7B 소형 모델이 대형 모델을 압도한 결과에 대해 놀랍다는 반응이 지배적이다. 많은 사용자가 자신의 환경에서 재현하기 위해 벤치마크 도구 사용법을 문의하고 있으며, 70B 이상의 대형 모델에 대한 추가 테스트 결과 공유를 기대하고 있다.

• 로컬에서 MCP 기반 에이전트를 구축한다면 IBM Granite-4-H-Tiny 7B 모델을 최우선으로 검토할 것.
• 복잡한 작업 수행 시 모델에게 한 번에 모든 것을 시키지 말고, 실행 결과를 다시 입력받는 루프 구조를 반드시 설계할 것.
• ID 체이닝이 필요한 작업에서는 이전 단계의 출력을 명시적으로 컨텍스트에 포함시켜야 성공률이 높아진다.

• ID 체이닝(한 도구의 출력 ID를 다음 도구의 입력으로 사용) 능력은 로컬 모델의 실질적 지능을 가늠하는 핵심 척도이며, 이를 위해서는 에이전틱 루프가 필수적이다.
• 모델이 도구 호출 형식을 이해하더라도 실제 도구 이름을 환각(Hallucination)하는 경우가 많으므로, Granite와 같이 형식 준수 능력이 검증된 모델 선택이 중요하다.

• 로컬 LLM의 실전 도구 활용 성능은 모델 크기보다 에이전틱 루프 구성 여부에 더 큰 영향을 받는다.
• IBM Granite 7B 모델은 로컬 MCP 환경에서 가장 신뢰할 수 있는 성능과 속도 균형을 제공한다.
• 복잡한 ID 체이닝이 필요한 작업은 단일 호출로는 불가능하며 반드시 실행 결과 피드백 루프가 필요하다.
• 도구 호출 전용 튜닝이 없더라도 기본 추론 능력이 높은 모델은 에이전틱 환경에서 충분히 활용 가능하다.