TokenSpeed: 에이전트 워크로드를 위한 광속 LLM 추론 엔진

TokenSpeed는 코딩 에이전트와 같은 긴 컨텍스트 및 다회차 대화 워크로드에 특화된 차세대 LLM 추론 엔진입니다. 컴파일러 기반의 모델링 메커니즘, C++ 상태 머신 스케줄러, 그리고 NVIDIA Blackwell 하드웨어에 최적화된 MLA 커널을 통해 추론 효율을 극대화했습니다. 벤치마크 결과 Kimi K2.5 모델 기준 TensorRT-LLM보다 약 11% 높은 처리량을 기록했으며, 특히 MLA 디코드 지연 시간을 절반 수준으로 단축했습니다. 이 엔진은 vLLM 등 주요 오픈소스 프로젝트와 협력하며 프로덕션 환경의 비용 절감과 성능 향상을 목표로 합니다.