Llama 3.2 1B 모델을 활용한 인도 법률 특화 QLoRA 파인튜닝 사례

작성자의 실험 결과에 대해 긍정적인 반응이며, 특히 매우 낮은 VRAM 사용량과 빠른 학습 속도에 관심을 보이고 있습니다.

• 메모리 부족 문제를 겪고 있다면 Unsloth 라이브러리의 FastLanguageModel을 사용하여 VRAM 사용량을 최적화하십시오.
• Llama 3.2 1B 모델 학습 시 모든 선형 레이어(all linear layers)를 타겟 모듈로 설정하여 학습 효율을 높이십시오.

QLoRA

— 모델을 4비트로 양자화한 상태에서 가중치 행렬의 일부만 학습시키는 기법이다. 메모리 사용량을 획기적으로 줄여 일반 소비자용 GPU에서도 대규모 언어 모델을 파인튜닝할 수 있게 한다.

VRAM

— 그래픽 카드에 탑재된 메모리로, AI 모델의 가중치와 연산 데이터를 저장하는 공간이다. 파인튜닝 시 모델 크기와 배치 사이즈에 따라 필요한 VRAM 용량이 결정된다.

Adapter Weights

— LoRA와 같은 기법에서 원본 모델은 고정한 채 새로 추가하여 학습시킨 작은 크기의 가중치 파일이다. 전체 모델을 저장할 필요 없이 이 파일만 공유하여 특정 도메인 성능을 재현할 수 있다.