실용적 조언
- Intel 258V 노트북 사용자라면 Q5_K_M 또는 Q5_K_S 양자화 모델을 사용하여 22 tk/s 이상의 속도와 고품질을 동시에 챙길 수 있다.
- 추론 시 llama-bench 옵션에서 -b 512 -ub 512 설정을 적용하여 성능을 극대화하라.
섹션별 상세
양자화 수준에 따른 속도와 품질의 상관관계를 분석했다. Q4_0 계열은 약 28 tk/s로 가장 빠른 속도를 기록했으나 KLD 수치가 0.05 수준으로 품질 손실이 발생했다. 반면 Q8_0나 Q6_K는 속도가 18-20 tk/s로 낮아지는 대신 KLD가 0.005 미만으로 매우 정밀한 품질을 유지했다.
KLD 0.01 이하를 유지하는 '승자' 그룹을 선별했다. Unsloth의 Q5_K_S와 Bartowski의 Q5_K_M 등이 KLD 0.01 미만의 고품질을 유지하면서도 22-23 tk/s의 준수한 속도를 보여 성능과 품질의 균형이 가장 뛰어난 것으로 나타났다. 이는 단순 비트 수보다 업로더별 양자화 구현 방식에 따라 효율성이 달라질 수 있음을 시사한다.
벤치마크의 재현성을 위해 하드웨어 및 소프트웨어 설정을 고정했다. ThrottleStop을 사용하여 CPU PL1 전력을 25W로 제한하고 llama-bench에서 -fa 0, -ngl 99, --no-mmap 옵션을 적용하여 변수를 통제했다. 특히 배치 사이즈와 업데이트 배치 사이즈를 모두 512로 설정했을 때 가장 최적의 PP/TG 성능이 도출됐다.
bash
llama-bench.exe -m model.gguf -p 512 -n 128 -b 2048,1024,512,256,128,64,32 -ub 2048,1024,512,256,128,64,32 -fa 0 --mmap 0 -ngl 99최적의 배치 사이즈와 업데이트 배치 사이즈를 찾기 위해 수행한 llama-bench 실행 명령어
용어 해설
- 쿨백-라이블러 발산(KLD)
- — 두 확률 분포의 차이를 측정하는 지표로, 여기서는 원본 모델(BF16)과 양자화된 모델 간의 출력 분포 차이를 통해 품질 손실 정도를 수치화하는 데 사용됐다. 수치가 낮을수록 원본에 가까운 품질을 유지함을 의미한다.
- 양자화(Quantization)
- — 모델의 가중치를 낮은 비트(예: 4비트, 8비트)로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다. 비트 수가 낮아질수록 속도는 빨라지지만 모델의 정확도나 지능이 저하될 수 있다.
- 통합 그래픽 처리 장치(iGPU)
- — CPU와 동일한 칩셋에 통합된 그래픽 코어로, 별도의 외장 그래픽 카드 없이도 연산을 수행한다. 본문에서는 Intel 258V 프로세서에 내장된 140V iGPU의 LLM 추론 성능을 테스트했다.
- 초당 토큰 생성 수(tk/s)
- — 언어 모델이 1초당 생성하는 텍스트 단위(토큰)의 개수로, 추론 속도를 나타내는 핵심 성능 지표이다. 수치가 높을수록 사용자가 체감하는 응답 속도가 빨라진다.
언급된 도구
llama-bench추천
LLM 추론 성능 측정 및 벤치마크
ThrottleStop추천
CPU 전력 제한(PL1) 및 성능 조절
llama-cpp-python추천
Python 환경에서의 LLM 추론 및 KLD 측정
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 06.수집 2026. 04. 06.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
