QAT
양자화 인지 학습
양자화 산출을 모사한 그래디언트 추정을 포함해 이진 또는 저비트 가중치를 학습시키는 절차로, 초기화된 바이너리 인자와 스케일을 고정하지 않고 STE(표현비차추정)를 통해 미세조정한다. 입력은 초기 이진 행렬과 FP16 스케일, 교사 모델 로그 확률이며, 과정은 forward에서 양자화-역전파에서 STE를 적용하고 출력으로는 추론에 쓰일 바이너리 인자와 스케일을 얻는다.
양자화 인지 학습
양자화 산출을 모사한 그래디언트 추정을 포함해 이진 또는 저비트 가중치를 학습시키는 절차로, 초기화된 바이너리 인자와 스케일을 고정하지 않고 STE(표현비차추정)를 통해 미세조정한다. 입력은 초기 이진 행렬과 FP16 스케일, 교사 모델 로그 확률이며, 과정은 forward에서 양자화-역전파에서 STE를 적용하고 출력으로는 추론에 쓰일 바이너리 인자와 스케일을 얻는다.
