희소 파인튜닝
희소 파인튜닝은 전체 모델 가중치를 업데이트하지 않고 일부 파라미터만 선택적으로 학습하는 방법으로, 메모리와 연산 자원을 절감하려는 목적을 갖는다. 선택 기준은 레이어별, 전문가별 혹은 가중치의 저순위 근사 등을 사용할 수 있으며, 업데이트 대상이 작을수록 GPU 메모리 요구량이 줄어든다. 이 방식은 특히 대형 모델을 제한된 하드웨어에서 튜닝할 때 유용하다.