본문으로 건너뛰기

tps

초당 토큰 처리량

입문

언어 모델이 1초 동안 생성하거나 처리하는 텍스트 단위(토큰)의 개수이다. AI 모델의 추론 속도를 측정하는 가장 핵심적인 지표로, 수치가 높을수록 더 많은 사용자에게 빠른 응답을 제공할 수 있다.