본문으로 건너뛰기
Throughput
처리량
단위 시간당 시스템이 처리할 수 있는 작업의 양을 의미한다. LLM 추론에서는 초당 생성되는 총 토큰 수로 측정하며 서비스의 경제성과 직결되는 지표이다.
비슷한 개념
Inference Throughput
t/s
Token Throughput
otps
PP/S (Prompt Processing per Second)
Generation Throughput
Token Spending
Hardware Utilization
← 용어 사전 전체 보기
AI Trends
피드
트렌딩
커뮤니티
탐색
보관함
로그인
홈
트렌딩
커뮤니티
보관함
프로필