Total Response Time
총 응답 시간(100토큰 기준)
지연과 처리량을 조합해 100토큰 분량 응답을 받을 때까지 걸리는 총 시간을 추정한 값으로, 벤치마크는 이 항목을 통해 실제 출력 완료까지의 체감 속도를 비교했다. 수식은 지연(첫 토큰 도착) 이후의 처리량을 토대로 시간 추정치를 계산하는 방식이다. Groq의 사례에서는 이 추정치가 0.8초 수준으로 보고되었다.
총 응답 시간(100토큰 기준)
지연과 처리량을 조합해 100토큰 분량 응답을 받을 때까지 걸리는 총 시간을 추정한 값으로, 벤치마크는 이 항목을 통해 실제 출력 완료까지의 체감 속도를 비교했다. 수식은 지연(첫 토큰 도착) 이후의 처리량을 토대로 시간 추정치를 계산하는 방식이다. Groq의 사례에서는 이 추정치가 0.8초 수준으로 보고되었다.
