본문으로 건너뛰기

inference-throughput

추론 처리량

단위 시간당 처리할 수 있는 추론 데이터의 양으로, LLM에서는 초당 토큰 수로 측정한다.

← 용어 사전 전체 보기