Serving Latency

모델이 예측 결과를 반환하는 데 걸리는 시간. 실시간 예측 서비스에서 사용자 경험을 결정짓는 핵심 지표로, 인프라 최적화의 성공 여부를 판단하는 척도가 된다.