token-generation

모델이 답변을 한 글자(토큰)씩 생성해내는 속도이다. 실제 사용자가 화면에서 답변이 출력되는 속도를 체감하는 지표이다.