Sparse Fine-tuning
희소 파인튜닝
희소 파인튜닝은 전체 모델 가중치를 업데이트하지 않고 일부 파라미터만 선택적으로 학습하는 방법으로, 메모리와 연산 자원을 절감하려는 목적을 갖는다. 선택 기준은 레이어별, 전문가별 혹은 가중치의 저순위 근사 등을 사용할 수 있으며, 업데이트 대상이 작을수록 GPU 메모리 요구량이 줄어든다. 이 방식은 특히 대형 모델을 제한된 하드웨어에서 튜닝할 때 유용하다.
희소 파인튜닝
희소 파인튜닝은 전체 모델 가중치를 업데이트하지 않고 일부 파라미터만 선택적으로 학습하는 방법으로, 메모리와 연산 자원을 절감하려는 목적을 갖는다. 선택 기준은 레이어별, 전문가별 혹은 가중치의 저순위 근사 등을 사용할 수 있으며, 업데이트 대상이 작을수록 GPU 메모리 요구량이 줄어든다. 이 방식은 특히 대형 모델을 제한된 하드웨어에서 튜닝할 때 유용하다.
