llama-bench

llama.cpp 라이브러리에서 제공하는 성능 측정 도구로, 모델의 프롬프트 처리 속도와 토큰 생성 속도를 측정한다. 다양한 컨텍스트 깊이와 스레드 설정에 따른 하드웨어의 추론 성능을 객관적으로 비교할 수 있다.