본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

서빙 지연 시간 (serving-latency) 용어 설명 | AI Trends

serving-latency

서빙 지연 시간

중급

모델이 예측 결과를 반환하는 데 걸리는 시간. 실시간 예측 서비스에서 사용자 경험을 결정짓는 핵심 지표로, 인프라 최적화의 성공 여부를 판단하는 척도가 된다.

비슷한 개념

inference-latency api-latency latency latency-budget first-token-latency ttft inference-service latency-sensitive

← 용어 사전 전체 보기