vLLM 성능 병목 현상을 진단하는 CLI 도구 'profile' 공개

작성자가 피드백을 요청한 초기 단계이며, vLLM 운영자들의 실무적인 검토가 기대되는 상황이다.

• vLLM 성능이 기대에 못 미친다면 /metrics 엔드포인트를 활성화하고 profile 도구를 실행하여 스케줄러 병목 여부를 확인하라.
• 진단 결과에서 KV Cache Pressure가 높게 나온다면 max_model_len 조정이나 GPU 메모리 추가 할당을 검토하라.

키-값 캐시(KV Cache)

— LLM 추론 시 이전 토큰들의 연산 결과를 저장해두는 메모리 영역이다. 새로운 토큰 생성 시 중복 계산을 방지하여 속도를 높이지만, 메모리 용량을 많이 차지하여 효율적인 관리가 필수적이다.

프리픽스 캐싱(Prefix Caching)

— 여러 요청에서 공통으로 사용되는 프롬프트 앞부분(시스템 프롬프트 등)의 연산 결과를 캐싱하여 재사용하는 기술이다. 이를 통해 연산 자원을 절약하고 첫 번째 토큰 생성 시간(TTFT)을 단축한다.

언더 배칭(Under-batching)

— GPU의 연산 자원에 여유가 있음에도 불구하고 스케줄러가 충분한 수의 요청을 동시에 처리하지 못하는 상태이다. GPU 활용률을 떨어뜨려 전체적인 처리량(Throughput) 저하의 원인이 된다.