본문으로 건너뛰기

tokens-per-second

초당 토큰 수

입문

언어 모델의 추론 속도를 측정하는 단위로, 1초에 생성되는 텍스트 단위(토큰)의 개수를 의미한다. 일반적으로 10-15 t/s 정도면 사람이 읽는 속도와 비슷하여 실사용이 가능하다.