Distropy: KV 캐싱으로 RTX 4070에서 60,000 t/s 이상의 프리필 속도를 구현한 Rust 기반 추론 서버

작성자가 공유한 압도적인 프리필 수치와 Rust 기반의 성능 최적화에 대해 커뮤니티는 매우 긍정적인 반응을 보이고 있다.

• 반복되는 시스템 프롬프트나 API 스키마가 있는 경우 KV 캐싱이 지원되는 추론 엔진을 사용하여 TTFT를 단축할 수 있다.
• Rust와 같은 저수준 언어를 사용한 추론 서버 구축은 메모리 관리와 실행 효율성 측면에서 유리하다.

• Rust 기반 추론 서버 Distropy는 KV 프리픽스 캐싱을 통해 반복적인 대규모 컨텍스트 처리 속도를 15배 이상 향상시켰다.
• RTX 4070 환경에서 12,000 토큰 이상의 캐시된 프리필을 단 4ms 만에 처리하여 60,000 t/s 이상의 성능을 입증했다.
• IDE 확장 프로그램처럼 도구 스키마나 시스템 프롬프트가 매번 반복되는 워크로드에서 프리픽스 캐싱은 지연 시간을 초 단위에서 밀리초 단위로 줄이는 핵심 요소이다.