quantization-aware-training
모델을 낮은 정밀도(예: int8)로 변환할 때 발생하는 성능 저하를 최소화하기 위해, 학습 단계에서 양자화 오차를 미리 반영하여 학습하는 기법이다.
Character.AI가 공개한 6비트 그래디언트 압축과 효율적 학습 비결
대역폭 75% 부족해도 학습 성공? Character.ai의 6비트 그래디언트 압축 기술 공개