prefill-latency

사용자의 입력을 모델이 처음 처리하여 첫 번째 토큰을 출력하기까지 걸리는 시간(TTFT)이다. 대화형 AI의 응답 속도를 결정하는 중요한 지표이다.