q-at

QAT는 모델을 양자화된 저정밀 환경에서 학습 과정에 양자화 효과를 반영해, 추론 시 저비트 표현으로 변환해도 성능 저하를 최소화하도록 하는 훈련 기법이다. 학습 중에 양자화 연산을 시뮬레이션하거나 실제 양자화 연산을 적용해 가중치와 활성값 분포를 조정한다. 소비자 하드웨어에서 4-bit 같은 공격적인 양자화로도 품질을 유지하는 데 유리하다.