본문으로 건너뛰기

throughput-per-watt

와트당 처리량

서버가 소비하는 전력 1와트당 처리할 수 있는 추론 요청량을 나타내는 지표이다. 입력으로 동시성(concurrency)과 모델 설정(예: FP8)을 받고, 측정은 초당 처리한 토큰 또는 요청 수를 전력 소비(W)로 나눠 계산한다. 이 값이 높을수록 동일 전력에서 더 많은 처리량을 얻어 데이터센터 총운영비용과 냉각 부담을 낮출 수 있다.