본문으로 건너뛰기

t-s

초당 토큰 수

입문

LLM이 1초당 생성하는 텍스트의 단위를 의미하며, 모델의 추론 속도를 측정하는 가장 핵심적인 지표이다. 수치가 높을수록 사용자가 체감하는 응답 속도가 빨라진다.