워크로드 드리프트 하에서 ASR 서빙을 위한 duration-aware 스케줄링

대규모 ASR 서비스에서 요청 간 길이 차이가 크면 FCFS가 머물름으로 인한 헤드-오브-라인 블로킹이 발생한다. 오디오 길이는 처리를 좌우하는 핵심 요인으로 작용하므로, duration 기반으로 길이 추정치를 만들고 이를 SJF/HRRN 같은 고전 스케줄링 알고리즘에 적용하면 평균 지연과 Tail 지연을 개선할 수 있다. 본 연구는 vLLM 엔진에 두 가지 알고리즘을 도입하고 실제 워크로드에서 성능을 분석한다.

왜 중요한가

핵심 기여

Duration-based job length estimation

오디오 duration이 엔코더-디코더 모델의 처리 시간에 강하게 관련되어 있음을 실험적으로 확인하고, 이를 토큰 수 추정의 기초 신호로 사용한다. n^ = d × κ 형태의 선형 관계를 통해 출력 토큰 수를 예측하고, 이 예측치를 스케줄링에 활용한다.

Integration of SJF and HRRN into vLLM

vLLM 엔진에 SJF와 HRRN 스케줄링 정책을 구현하고, 요청 도착 시점에 추정 토큰 수를 기반으로 큐를 구성한다. SJF는 짧은 작업을 먼저 처리하고, HRRN은 대기 시간과 추정 작업 시간을 고려해 기아를 완화한다.

Robustness under workload drift

LibriSpeech(test-clean)와 합성 워크로드에서 드리프트 상황에서도 향상이 지속되며, Throughput은 추가적인 손실 없이 유지된다. SJF는 중간 구간에서 Tail 지연이 증가하는 trade-off를 보이며, HRRN은 Tail 지연 감소를 제한적으로 허용한다.

Minimal scheduling overhead

스케줄링 결정의 오버헤드는 요청 당 <0.1 ms로 측정되며, 디코더의 연산 시간(대략 60–100 ms)의 몇 퍼센트도 되지 않는다.

핵심 아이디어 이해하기

:[“첫째, FCFS는 입력 길이 분포의 다변성으로 인해 긴 작업이 짧은 작업을 차단하는 현상을 유발한다. 이는 엔드-투-엔드(latency)가 비정상적으로 증가하는 tail 문제를 가져온다.”,

방법론

음성 길이(d)와 출력 토큰 수(n)간의 선형 상관관계에 주목하고, n_hat = κ × d의 관계를 통해 작업 길이를 온라인으로 추정한다. 추정 토큰 수를 SJF(가장 짧은 작업 먼저)와 HRRN(대기 시간 + 추정 작업 시간 비율) 큐에 적용한다. SJF는 (estimated_output_tokens, arrival_time, request_id)을 우선 순위로 사용하고, HRRN은 (waiting_time + estimated_time) / estimated_time을 사용한다.

주요 결과

LibriSpeech에서 SJF는 P50 E2EL를 최대 73% 감소시켰고, 고부하에서 P90 E2EL은 최대 97% 증가했다. HRRN은 P50 E2EL을 최대 28% 감소시키고 Tail의 악화를 24% 이내로 제한했다. Throughput은 동일하게 유지되었고, 스케줄링 오버헤드는 <0.1 ms로 측정되었다.

키워드

duration-aware scheduling(지속 시간 인식 스케줄링)ASR(Automatic Speech Recognition) 서빙end-to-end latency(엔드투엔드 레이턴시)SJF(Shortest Job First)HRRN(Highest Response Ratio Next)vLLMwhisperworkload drift(부하 드리프트)

용어 해설

duration: — 오디오의 재생 길이(초 단위). ASR에서 입력 길이는 인코더-디코더 처리 시간에 강하게 기여하므로, 요청당 처리 길이를 예측하는 주요 척도이다.
예상 출력 토큰 수(estimated-output-tokens): — 디코더가 생성할 것으로 예상되는 출력 토큰 수의 추정치이다. 스케줄링에서 이 값을 기준으로 우선순위를 매겨 대기 시간을 줄이는 데 활용된다.
Shortest Job First: — 도착한 요청 중 처리 시간이 가장 짧은 것을 우선 처리하는 스케줄링 정책으로, 평균 대기 시간을 최소화한다. 긴 작업에 대한 기아 현상이 발생할 수 있다.
Highest Response Ratio Next: — 대기 시간과 추정된 처리 시간을 함께 고려해 우선순위를 매기는 스케줄링 정책으로, 기아 현상을 완화한다.
vLLM: — LLM 추론 엔진으로, OpenAI 계열 엔진과 유사한 API를 제공하는 고성능 서빙 엔진이다.
Whisper: — Encoder–Decoder 기반의 음성 인식 모델로, 본 연구에서 ASR 워크로드의 주된 모델로 사용된다.

워크로드 드리프트 하에서 ASR 서빙을 위한 duration-aware 스케줄링

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 서빙에서의 1년 변화, 캐싱과 부하 분산

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

키워드

관련 토론

댓글

관련 기사

LLM 서빙에서의 1년 변화, 캐싱과 부하 분산