Qwen 3.5 0.8B 모델의 IQ2_XXS 양자화 버전 테스트 및 오작동 사례

작성자는 모델의 처참한 성능을 유머러스하게 표현했으며, 이러한 극단적인 양자화의 실질적 용도에 대해 회의적인 반응을 보였다.

• 소형 모델(0.8B 이하)을 사용할 때는 IQ2_XXS와 같은 극단적인 양자화보다는 최소 4비트(Q4_K_M 등) 이상의 정밀도를 유지하는 것이 권장된다.
• 모델의 추론 속도(t/s)가 높더라도 실제 출력물의 논리적 일관성을 반드시 먼저 검증해야 한다.

• 0.8B 이하의 소형 모델에 IQ2_XXS와 같은 초저비트 양자화를 적용하면 모델의 논리 체계가 붕괴되어 무한 루프 현상이 발생한다.
• 추론 속도가 초당 58토큰으로 매우 빠르더라도 출력 품질이 낮으면 실제 애플리케이션에 적용할 수 없다.
• 모델의 파라미터 수가 적을수록 양자화에 따른 성능 저하가 치명적이므로 적정 비트 수를 유지하는 것이 필수적이다.