헤시안 가중화
Hessian-weighting은 파라미터 또는 표현 손실이 모델 출력 손실에 미치는 2차 영향도를 헤시안 행렬로 근사해 중요한 방향에 더 높은 정밀도를 할당하는 방식이다. 구현은 손실의 2차 테일러 전개를 이용해 오차 공분산과 가중치 행렬의 트레이스 항으로 downstream 왜곡을 근사한다. 이 방식은 재구성 최적화가 아니라 소비자 민감도에 따른 손실 가중화를 가능하게 하여 task-aware 양자화를 구현하는 기초가 된다.
