본문으로 건너뛰기

provisioning headroom

프로비저닝 여유분

예측된 부하보다 더 많은 worker나 GPU를 미리 배치하는 여유 자원입니다. 여유분이 작으면 GPU-hours는 줄지만 SLO 위반이 늘어나므로, 글은 예측기마다 동일한 위반 목표를 만족하는 가장 저렴한 지점을 찾아 공정성을 확보합니다.