Intel 258V iGPU 기반 소형 LLM 양자화 벤치마크 결과 분석

작성자가 제공한 상세한 데이터 테이블과 벤치마크 방법론에 대해 긍정적인 반응이 예상되며, 특히 새로운 Intel Lunar Lake 아키텍처의 iGPU 성능에 대한 실질적인 지표로 평가받고 있다.

• Intel 258V 노트북 사용자라면 Q5_K_M 또는 Q5_K_S 양자화 모델을 사용하여 22 tk/s 이상의 속도와 고품질을 동시에 챙길 수 있다.
• 추론 시 llama-bench 옵션에서 -b 512 -ub 512 설정을 적용하여 성능을 극대화하라.

KLD

— 두 확률 분포의 차이를 측정하는 지표로, 여기서는 원본 모델(BF16)과 양자화된 모델 간의 출력 분포 차이를 통해 품질 손실 정도를 수치화하는 데 사용됐다. 수치가 낮을수록 원본에 가까운 품질을 유지함을 의미한다.

Quantization

— 모델의 가중치를 낮은 비트(예: 4비트, 8비트)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 비트 수가 낮아질수록 속도는 빨라지지만 모델의 정확도나 지능이 저하될 수 있다.

iGPU

— CPU와 동일한 칩셋에 통합된 그래픽 코어로, 별도의 외장 그래픽 카드 없이도 연산을 수행한다. 본문에서는 Intel 258V 프로세서에 내장된 140V iGPU의 LLM 추론 성능을 테스트했다.

tk/s

— 언어 모델이 1초당 생성하는 텍스트 단위(토큰)의 개수로, 추론 속도를 나타내는 핵심 성능 지표이다. 수치가 높을수록 사용자가 체감하는 응답 속도가 빨라진다.