동일 모델, 다른 플랫폼: 함수 호출 벤치마크가 밝히는 인프라의 중요성

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AI 모델의 가중치가 동일하더라도 이를 실행하는 추론 인프라에 따라 실제 성능, 특히 함수 호출(Function Calling)과 구조화된 출력(Structured Output) 정확도에서 큰 차이가 발생한다. SambaNova는 DeepSeek-V3 모델을 대상으로 한 Berkeley Function Calling Leaderboard와 JSON Schema Bench 테스트에서 Fireworks 및 Together AI를 모든 항목에서 앞질렀다. 특히 난이도가 높은 멀티턴 대화와 복잡한 JSON 스키마 생성에서 압도적인 격차를 보이며 인프라 최적화의 중요성을 확인했다. 이는 기업용 AI 에이전트 구축 시 모델 선택만큼이나 신뢰할 수 있는 추론 플랫폼 선택이 필수적임을 시사한다.

배경

LLM Inference, Function Calling, JSON Schema, API Integration

대상 독자

LLM 기반 에이전트 및 프로덕션 서비스를 구축하는 AI 엔지니어 및 아키텍트

의미 / 영향

모델 가중치의 공개로 모델 자체의 차별화가 줄어드는 상황에서, 추론 속도뿐만 아니라 '추론 품질(정확도)'이 인프라 기업의 핵심 경쟁력으로 부상하고 있다. 특히 에이전트 중심의 AI 생태계에서 함수 호출 성능은 플랫폼 선택의 최우선 기준이 될 것이다.

섹션별 상세

함수 호출은 자연어 입력을 API 호출이나 도구 실행을 위한 구조화된 데이터로 변환하는 핵심 기술로, 모델의 지능뿐만 아니라 인프라의 파싱 및 출력 제어 능력이 결합되어 성능이 결정된다.

Berkeley Function Calling Leaderboard 측정 결과, SambaNova는 DeepSeek-V3 모델로 단순 호출 98%, 다중 함수 선택 95%의 정확도를 기록하며 경쟁사 대비 낮은 오류율을 달성했다.

DeepSeek-V3 모델의 추론 제공업체별 Berkeley Function Calling Leaderboard 결과 차트이다. — ChartSambaNova가 단순 호출(98%), 다중 함수(95%), 멀티턴 대화(35%) 모든 영역에서 Fireworks와 Together AI를 앞서는 성능을 보여준다. 특히 멀티턴 대화에서 경쟁사 대비 압도적인 정확도 격차를 시각적으로 확인할 수 있다.

가장 난이도가 높은 멀티턴 대화 시나리오에서 SambaNova는 35%의 정확도를 기록하여 4%에 그친 Together AI와 큰 격차를 벌렸으며, 이는 복잡한 맥락 유지 능력이 인프라 수준에서 차별화됨을 보여준다.

JSON Schema Bench를 통한 구조화된 출력 테스트에서도 SambaNova는 GitHub Easy/Medium, Snowplow 등 모든 카테고리에서 가장 높은 커버리지를 기록하며 프로덕션 환경에서의 데이터 정합성을 입증했다.

다양한 JSON 스키마 카테고리에 대한 모델별 구조화된 출력 생성 정확도 비교 차트이다. — ChartGitHub Easy, Medium, Snowplow, JSON Schema Store의 4개 부문 모두에서 SambaNova가 가장 높은 엠피리컬 커버리지를 기록했음을 보여준다. 이는 복잡한 데이터 구조 생성 시 SambaNova 인프라의 신뢰성이 더 높음을 입증한다.

인프라 최적화로 인한 정확도 향상은 재시도 로직 감소, 토큰 비용 절감, 개발 주기 단축으로 이어져 기업용 AI 에이전트의 운영 효율성과 예측 가능성을 높이는 결정적 요인이 된다.

AI 함수 호출 기술이 적용되는 주요 산업 분야와 워크플로우를 설명하는 인포그래픽이다. — Infographic기업 자동화, 데이터 분석, 고객 서비스, 개발 도구 등 함수 호출이 필수적인 4대 응용 분야를 제시한다. AI가 외부 시스템과 JSON 구조화 데이터를 통해 연결되는 과정을 도식화하여 기술의 실무적 가치를 설명한다.

실무 Takeaway

동일한 오픈 소스 모델을 사용하더라도 추론 서비스 제공업체의 인프라 최적화 수준에 따라 함수 호출 성공률이 최대 30%p 이상 차이 날 수 있으므로 벤치마크 기반의 플랫폼 선정이 필요하다.
멀티턴 대화나 복잡한 JSON 스키마가 포함된 에이전트 워크플로우에서는 인프라의 안정성이 시스템 전체의 신뢰도를 결정하는 병목 지점이 된다.
높은 함수 호출 정확도는 불필요한 API 재시도를 줄여 운영 비용을 직접적으로 절감하고 사용자 경험을 개선하는 실질적인 비즈니스 가치를 제공한다.

언급된 리소스

문서Berkeley Function Calling Leaderboard