Shepherd Model Gateway (SMG): Rust 기반의 고성능 LLM 서빙 게이트웨이

Shepherd Model Gateway(SMG)는 기존 LLM 서빙 엔진들이 Python GIL(Global Interpreter Lock)로 인해 토큰화 및 데이터 처리 과정에서 겪는 성능 병목을 해결하기 위해 개발되었습니다. 이 시스템은 토큰화, 멀티모달 전처리, 도구 호출 파싱 등 모든 CPU 집약적 작업을 순수 Rust 기반의 게이트웨이 레이어로 분리하고, 추론 엔진과는 gRPC를 통해 통신합니다. 벤치마크 결과, 긴 컨텍스트 환경에서 HTTP 대비 최대 3.5배 높은 처리량을 기록하며 GPU가 CPU 오버헤드 없이 연산에만 집중할 수 있는 환경을 제공합니다. 현재 vLLM과 TensorRT-LLM 등 주요 엔진에 채택되었으며, 복잡한 에이전트 워크플로를 지원하는 엔터프라이즈급 기능을 갖추고 있습니다.