본문으로 건너뛰기

Throughput

처리량

단위 시간당 시스템이 처리할 수 있는 작업의 양을 의미한다. LLM 추론에서는 초당 생성되는 총 토큰 수로 측정하며 서비스의 경제성과 직결되는 지표이다.