t-s-tokens-per-second

LLM의 추론 속도를 측정하는 핵심 단위입니다. 모델이 1초당 생성하는 단어 조각(토큰)의 수를 의미하며, 수치가 높을수록 사용자에게 더 빠른 응답을 제공할 수 있음을 나타냅니다.