memory-bandwidth

메모리에서 데이터를 읽고 쓰는 속도로 LLM 추론 성능의 주요 병목 지점이다. llmfit은 이 수치를 기반으로 초당 생성 토큰 수(TPS)를 예측한다.