Model Bandwidth Utilization
모델 대역폭 활용률
Model Bandwidth Utilization은 시스템의 최대 메모리 대역폭 중 모델 가중치와 KV cache를 실제 토큰 생성에 사용한 비율이다. 설치된 대역폭에 MBU를 곱하면 모델이 활용하는 유효 대역폭을 계산할 수 있어, 이론적 메모리 성능과 실제 tokens per second 사이를 연결한다.
모델 대역폭 활용률
Model Bandwidth Utilization은 시스템의 최대 메모리 대역폭 중 모델 가중치와 KV cache를 실제 토큰 생성에 사용한 비율이다. 설치된 대역폭에 MBU를 곱하면 모델이 활용하는 유효 대역폭을 계산할 수 있어, 이론적 메모리 성능과 실제 tokens per second 사이를 연결한다.
