본문으로 건너뛰기

slo

서비스 수준 목표

서비스가 사용자에게 약속한 성능 지표의 목표치다. LLM 서비스에서는 주로 첫 번째 토큰이 나올 때까지의 시간(TTFT)이나 초당 생성되는 토큰 수 등을 기준으로 설정한다.