Distropy: KV 캐싱으로 RTX 4070에서 60,000 t/s 이상의 프리필 속도를 구현한 Rust 기반 추론 서버

작성자가 공유한 압도적인 프리필 수치와 Rust 기반의 성능 최적화에 대해 커뮤니티는 매우 긍정적인 반응을 보이고 있다.

• 반복되는 시스템 프롬프트나 API 스키마가 있는 경우 KV 캐싱이 지원되는 추론 엔진을 사용하여 TTFT를 단축할 수 있다.
• Rust와 같은 저수준 언어를 사용한 추론 서버 구축은 메모리 관리와 실행 효율성 측면에서 유리하다.

KV 프리픽스 캐싱(KV Prefix Caching)

— LLM 추론 시 시스템 프롬프트나 도구 스키마처럼 반복되는 입력의 앞부분(Prefix)에 대한 연산 결과(Key-Value)를 메모리에 저장해두는 기술이다. 동일한 컨텍스트가 포함된 후속 요청에서 중복 연산을 생략하여 초기 응답 속도를 획기적으로 높인다. 대규모 컨텍스트를 다루는 RAG나 에이전트 시스템에서 필수적인 최적화 기법이다.

프리필(Prefill)

— LLM이 입력된 전체 프롬프트를 한꺼번에 처리하여 내부 상태를 생성하는 첫 번째 추론 단계이다. 입력 토큰 수가 많을수록 연산량이 급증하며, 이 단계의 지연 시간이 전체 응답의 첫 번째 토큰 생성 시간(TTFT)을 결정한다. 병렬 처리가 가능하여 하드웨어 성능에 따라 초당 처리 토큰 수(t/s)가 크게 달라진다.

추론 서버(Inference Server)

— 학습된 AI 모델을 로드하여 외부 요청에 대해 실시간으로 예측이나 생성을 수행하는 소프트웨어 시스템이다. 모델 가중치 관리, 요청 큐잉, 하드웨어 가속기 활용 최적화 등을 담당한다. vLLM이나 llama.cpp 등이 대표적이며, 효율적인 자원 배분과 낮은 지연 시간이 핵심 성능 지표이다.