LoRA 어댑테이션
희소 활성화로 인한 미세한 잔차 정보를 보완하기 위해 LoRA 매개변수 LA, LB를 도입해 저차원 어댑터를 학습시키는 방법. 주 모듈은 고정하고 LoRA 분기만 학습한다.