Turboquant의 허점: 추론 아웃라이어를 보존하지만 시맨틱 노이즈 플로어를 영구적으로 오염시킨다

작성자가 직접 수행한 실험 데이터와 논문 초안을 공유하여 기술적인 신뢰도가 높다는 반응이다. 양자화 기법의 숨겨진 비용을 수치화했다는 점에 주목하고 있다.

• 저비트 양자화 모델을 선택할 때 단순히 벤치마크 점수만 보지 말고 활성화 패턴의 변화를 모니터링해야 한다.
• 제공된 GitHub 코드를 사용하여 사용 중인 양자화 모델의 Isotropic Tradeoff를 직접 측정해볼 수 있다.

• Global Rotation 기법은 3-bit 양자화에서 아웃라이어 재구성 오차를 98% 이상 줄이는 데 성공했다.
• 성능 개선의 대가로 수십만 개의 'Ghost Activations'가 발생하며 모델의 활성화 희소성이 완전히 파괴된다.
• 양자화 모델의 품질을 평가할 때 단순 MSE나 코사인 유사도 외에 매니폴드 무결성과 희소성 지표를 반드시 고려해야 한다.