TL;DR

이 배포는 tencent/Hy3를 기반으로 Hy3를 llama.cpp에서 실행 가능한 GGUF로 변환하고 imatrix 기반 보정을 통해 혼합-정밀도(Q4_K_M, IQ1_M 등) 양자화를 적용한 패키지이다. 제공된 스크립트와 레시피는 Attention과 임베딩처럼 민감한 텐서에는 높은 비트를 유지하고 FFN 전문가층에는 공격적으로 낮은 비트를 배분하는 방식으로 파일 크기와 품질을 절충한다. MTP self-speculative decoding을 선택적으로 활성화하면 초안 기반 디코딩으로 추론 지연과 비용을 추가로 줄일 수 있으며 변환 과정에서 채팅 템플릿을 GGUF에 박아 런타임 호환성을 확보한다. 따라서 이 배포는 로컬·경량 서버 환경에서 Hy3를 효율적으로 운영하려는 워크로드에 실용적인 양자화·배포 파이프라인을 제공한다.

핵심 포인트

• llama.cpp에 특화된 패치와 빌드 스크립트를 포함해 로컬 서빙 환경에서 곧바로 배포 가능한 상태를 제공한다.
• imatrix 기반 보정 한 번으로 여러 혼합-정밀도 양자화 타깃에 재사용 가능한 워크플로를 제공한다.
• MTP self-speculative decoding을 옵션으로 지원해 초안 기반 디코딩을 활성화하면 지연과 비용 절감 효과를 추가로 얻을 수 있다.
• llama.cpp와 패치·레시피·스크립트 일체를 제공하여 현장에서 바로 빌드하고 서빙할 수 있는 완성된 워크플로를 제공한다. 이로 인해 양자화 모델을 수동으로 맞추는 시간과 시행착오를 줄일 수 있다. 또한 MTP 옵션을 통해 추론 효율을 추가로 개선할 수 있다.

벤치마크

이미지 분석