Fake Quantization
가짜 양자화
학습 중 순전파(Forward Pass) 단계에서 가중치나 활성함수 값을 양자화된 값으로 변환했다가 다시 고정밀도(BF16 등)로 복원하여 계산하는 방식이다. 이를 통해 역전파 시에는 고정밀도 그래디언트를 유지하면서도, 모델이 실제 양자화 환경에서 겪게 될 수치적 제약을 학습 과정에 포함시킬 수 있다.
가짜 양자화
학습 중 순전파(Forward Pass) 단계에서 가중치나 활성함수 값을 양자화된 값으로 변환했다가 다시 고정밀도(BF16 등)로 복원하여 계산하는 방식이다. 이를 통해 역전파 시에는 고정밀도 그래디언트를 유지하면서도, 모델이 실제 양자화 환경에서 겪게 될 수치적 제약을 학습 과정에 포함시킬 수 있다.
