GB10 기반 KV 캐시 양자화 벤치마크: q4_0의 성능 폭락 및 메모리 역설 확인

대체로 긍정적이며, 많은 사용자가 통합 메모리 아키텍처에서의 양자화 효율성에 대한 유사한 경험을 공유했습니다.

• 통합 메모리 기반 시스템에서는 q4_0 대신 q8_0 KV 캐시 양자화를 사용하여 성능 저하를 최소화할 것
• 대규모 컨텍스트 처리 시 단순 압축률보다 메모리 버스 대역폭 포화 여부를 먼저 점검할 것

• 통합 메모리(Unified Memory) 환경에서는 q4_0 KV 캐시 양자화가 f16보다 더 많은 메모리를 사용하고 성능은 90% 이상 하락할 수 있다.
• 성능 폭락의 주원인은 압축률 부족이 아니라 역양자화 과정에서 발생하는 메모리 버스 대역폭 포화이다.
• 안정적인 추론 성능을 위해서는 q4_0 대신 성능 저하가 5% 미만인 q8_0 양자화 사용이 권장된다.