vLLM 스케일링 시 GPU 점유율 대신 대기열 요청 수를 기준으로 삼는 방법

핵심 요약

AI21의 사례를 통해 vLLM 배포 시 GPU 사용률 대신 대기열의 요청 수를 기준으로 오토스케일링을 수행하여 OOM을 방지하고 성능을 최적화하는 방안을 제시한다.

배경

AI21의 블로그 포스트를 참고하여 vLLM 배포 시 메모리 부족(OOM) 문제를 피하기 위해 GPU 사용률이 아닌 대기열 내 대기 중인 요청 수를 기준으로 오토스케일링을 트리거하는 방식에 대해 커뮤니티 의견을 묻고 있다.

의미 / 영향

LLM 인프라 운영에서 자원 효율성보다 서비스 안정성이 우선시되는 경향이 확인됐다. 대기열 기반 스케일링은 특히 vLLM과 같이 복잡한 메모리 관리를 수행하는 엔진에서 필수적인 전략으로 자리 잡고 있다.

커뮤니티 반응

대체로 긍정적이며, 실무에서 GPU 메트릭의 부정확성을 경험한 사용자들이 대안 지표의 필요성에 공감하고 있다.

주요 논점

01찬성다수

GPU 사용률보다 대기열 기반 스케일링이 LLM의 가변적인 부하 처리에 더 적합하다.

합의점 vs 논쟁점

합의점

GPU 사용률은 LLM 추론 부하를 실시간으로 완벽히 대변하지 못한다.

실용적 조언

vLLM 배포 시 Prometheus 등을 활용해 대기열 길이(Queue length) 메트릭을 수집하고 이를 오토스케일링 트리거로 설정하라.

전문가 의견

GPU 사용률은 커널 실행 여부만 나타낼 뿐 KV 캐시 점유 상태나 대기열 부하를 반영하지 못하므로 추론 엔진 고유의 메트릭을 사용하는 것이 실무적으로 옳다.

언급된 도구

vLLM추천

LLM 추론 및 서빙 엔진

섹션별 상세

GPU 사용률 기반 스케일링의 한계가 지적됐다. GPU가 겉보기에는 점유율이 낮아 보여도 실제로는 요청이 쌓여 급격한 부하(Bursty workloads) 발생 시 응답 속도 저하나 메모리 부족(OOM) 현상이 나타날 수 있다는 점이 핵심이다. 이는 LLM의 연산 특성상 메모리 점유와 연산량이 비대칭적으로 발생하기 때문에 나타나는 현상이다.

대기열 내 보류 중인 요청 수(Pending requests)를 스케일링 지표로 활용하는 방안이 제시됐다. 이는 실제 처리해야 할 작업량을 직접적으로 반영하므로 GPU 자원이 고갈되기 전에 선제적으로 인스턴스를 확장하는 데 유리하다는 평가다. AI21은 이 방식을 통해 시스템 안정성을 크게 개선했다는 결과를 공유했다.

LLM 추론 환경에 적합한 다른 지표들에 대한 논의도 이루어졌다. 대기열 길이 외에도 지연 시간(Latency), 초당 토큰 처리량(Tokens/sec) 등 서비스 수준 목표(SLO)와 직결된 메트릭을 복합적으로 고려해야 한다는 의견이 나왔다. 특히 실시간성이 중요한 서비스에서는 단순 요청 수보다 처리 속도 기반의 스케일링이 더 정교한 제어를 가능하게 한다.

실무 Takeaway

LLM 추론 서버 오토스케일링 시 전통적인 GPU 사용률 지표는 부적절할 수 있다.
대기열의 대기 중인 요청 수는 시스템 부하를 더 정확하게 예측하는 선행 지표다.
급격한 트래픽 증가 상황에서 OOM을 방지하기 위해 지표 선택이 중요하다.