Kronecker-factored Hessian
크로네커 인수분해 헤시안
헤시안 행렬을 입력·출력 방향의 텐서곱 형태로 근사하여 고차원 2차 미분 정보를 분해·저장하는 기법으로, 양자화 손실에 gradient 공분산을 결합하는 계산을 효율적으로 수행하는 기반이 된다.
크로네커 인수분해 헤시안
헤시안 행렬을 입력·출력 방향의 텐서곱 형태로 근사하여 고차원 2차 미분 정보를 분해·저장하는 기법으로, 양자화 손실에 gradient 공분산을 결합하는 계산을 효율적으로 수행하는 기반이 된다.