vibevoice 모델의 ExllamaV3 양자화 포크 공개: fp16 대비 4배 속도 향상

대체로 긍정적이며, 로컬 환경에서의 ASR 성능 향상에 대해 높은 관심을 보이고 있습니다.

• vibevoice 모델 사용 시 Transformers 대신 ExllamaV3 q8 양자화 버전을 사용하면 추론 속도를 4배 높일 수 있다.

양자화(Quantization)

— 모델의 가중치 파라미터를 16비트나 32비트에서 8비트(q8) 이하의 낮은 정밀도로 변환하는 기술이다. 이를 통해 모델의 메모리 점유율을 획기적으로 줄이고 연산 속도를 높일 수 있어 로컬 환경 배포에 필수적이다.

자동 음성 인식(ASR)

— 인간의 음성 신호를 컴퓨터가 이해할 수 있는 텍스트 데이터로 변환하는 자동 음성 인식 기술이다. 실시간 자막 생성, 음성 비서, 회의록 작성 등 다양한 분야에서 활용되며 모델의 추론 속도가 사용자 경험에 직결된다.

반정밀도 부동소수점(FP16)

— 부동소수점을 표현할 때 16비트를 사용하는 반정밀도 데이터 형식이다. 기존 32비트(FP32) 대비 메모리 사용량을 절반으로 줄이면서도 모델의 정확도 손실을 최소화할 수 있어 딥러닝 모델의 기본 학습 및 추론 형식으로 널리 쓰인다.