Token Throughput

언어 모델이 단위 시간당 생성하거나 처리할 수 있는 토큰의 양이다. AI 서비스의 응답 속도와 동시 사용자 수용 능력을 결정하는 주요 성능 지표이다.