Kitchen Rush: 도구 사용 성능과 지연 시간을 동시에 평가하는 LLM 벤치마크

섹션별 상세

기존 벤치마크는 모델이 정답을 도출할 때까지 무제한으로 기다리지만, 실시간 서비스에서는 추론 속도가 정확도만큼 중요하다.

Kitchen Rush는 모델이 요리사 역할을 수행하며 주문을 처리하는 시뮬레이션 환경을 제공하고, 추론에 소요된 시간을 게임 내 마감 기한에 반영한다.

근거

지연 시간 예산(B)을 1초(실시간)와 5초(대화형)로 구분하여 평가하며, 동일 모델이라도 예산에 따라 성능과 순위가 크게 변동된다.

B=1s 환경에서는 빠른 단일 단계 호출 모델이 유리하고, B=5s 환경에서는 추론 능력을 갖춘 모델이 더 높은 점수를 기록한다.

근거

B=1s 환경에서는 빠른 단일 단계 호출 모델이 유리하고, B=5s 환경에서는 추론 능력을 갖춘 모델이 더 높은 점수를 기록한다. — Leaderboard 섹션 및 차트 비교

도구 사용(Tool Calling): — LLM이 외부 API나 함수를 호출하여 특정 작업을 수행하는 기능이다. 모델이 적절한 도구를 선택하고 인자를 생성하는 정확도가 핵심 성능 지표로 사용된다.
지연 시간(Latency): — 모델이 입력을 처리하고 응답을 생성하는 데 걸리는 시간이다. 실시간 서비스에서는 이 시간이 길어질수록 사용자 경험이 저하되므로 매우 중요한 최적화 대상이다.
벤치마크(Benchmark): — 모델의 성능을 객관적으로 측정하기 위한 표준화된 테스트 세트이다. Kitchen Rush는 기존 벤치마크와 달리 추론 속도를 성능 평가에 직접 반영한다.

bash

pip install -e .
kitchenrush bench --baseline random --tier easy --seeds 12 --trials 2

Kitchen Rush 벤치마크를 설치하고 기본 랜덤 베이스라인으로 실행하는 명령어이다.

bash

kitchenrush bench --model anthropic:claude-sonnet-4-6 --tier medium --latency-budget 1

특정 모델(Claude Sonnet 4.6)을 사용하여 중간 난이도 티어에서 1초 지연 시간 예산으로 벤치마크를 실행하는 예시이다.