Preconditioning

최적화 단계에서 원래 gradient에 행렬을 곱해 좌표별 업데이트 크기와 방향을 조정하는 방식이다. LoRA에서는 down-projection A가 입력 측 저랭크 preconditioner를 만들며, A의 열 크기가 좌표별 학습률을 불균형하게 만든다.