SLA Planner
SLA 플래너
서비스 부하를 예측해 다음 구간에 필요한 prefill worker와 decode worker 수를 결정하는 구성 요소입니다. 이 글의 Planner는 한 구간 앞의 부하를 숫자 하나로 예측하고, 그 결과를 GPU 프로비저닝 규모로 변환해 SLO 위반률과 비용을 함께 평가합니다.
SLA 플래너
서비스 부하를 예측해 다음 구간에 필요한 prefill worker와 decode worker 수를 결정하는 구성 요소입니다. 이 글의 Planner는 한 구간 앞의 부하를 숫자 하나로 예측하고, 그 결과를 GPU 프로비저닝 규모로 변환해 SLO 위반률과 비용을 함께 평가합니다.
