Llama 3.2 1B 모델을 활용한 인도 법률 특화 QLoRA 파인튜닝 사례

실용적 조언

메모리 부족 문제를 겪고 있다면 Unsloth 라이브러리의 FastLanguageModel을 사용하여 VRAM 사용량을 최적화하십시오.
Llama 3.2 1B 모델 학습 시 모든 선형 레이어(all linear layers)를 타겟 모듈로 설정하여 학습 효율을 높이십시오.

섹션별 상세

Llama 3.2 1B Instruct 모델을 기반으로 약 14,500개의 인도 법률 QA 쌍을 학습 데이터로 사용했다. QLoRA 기법을 적용하여 전체 파라미터 1.25B 중 0.9%에 해당하는 11.27M개의 파라미터만 학습 대상으로 설정했다. 이를 통해 모델이 인도 헌법, 형법(IPC), 형사소송법(CrPC) 등 고정밀 법률 문맥을 이해하도록 유도했다.

Unsloth 라이브러리를 활용하여 하드웨어 효율성을 극대화했다. 실제 학습 루프 중 VRAM 점유율을 300MB에서 500MB 수준으로 유지했는데, 이는 이론적인 32비트 전체 파인튜닝 시 필요한 100GB 이상의 VRAM 대비 획기적으로 낮은 수치이다. 결과적으로 저사양 GPU인 Tesla T4에서도 안정적인 학습이 가능함을 입증했다.

python

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "invincibleambuj/llama-3.2-1b-legal-india-qlora"
)
inputs = tokenizer(
    "### Instruction:
What is IPC Section 302?

### Response:
", return_tensors="pt"
)
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))

Unsloth 라이브러리를 사용하여 학습된 Llama 3.2 1B 법률 특화 모델을 불러오고 추론하는 예시

학습 성능 지표 면에서 100단계(steps) 만에 손실값(Loss)이 3.471에서 1.578로 수렴했다. 전체 학습 시간은 약 97초가 소요되었으며, 이는 소형 모델과 최적화 라이브러리의 조합이 매우 빠른 반복 실험을 가능하게 함을 보여준다. 작성자는 학습된 어댑터 가중치를 Hugging Face에 공개하여 모바일이나 에지 기기 배포 가능성을 제시했다.

기술적 구현 과정에서 라이브러리 의존성 충돌 문제가 가장 큰 장애물로 지목됐다. trl 버전 갈등, 패딩 오류, SFTConfig 임포트 오류 등 소프트웨어 환경 설정의 어려움을 겪었으나 이를 해결하고 최종 모델을 구축했다. 기본 모델 대비 인도 법률 용어에 대한 이해도와 응답 품질이 눈에 띄게 개선되었다는 결과를 얻었다.

용어 해설

양자화된 저순위 적응(QLoRA): — 모델을 4비트로 양자화한 상태에서 가중치 행렬의 일부만 학습시키는 기법이다. 메모리 사용량을 획기적으로 줄여 일반 소비자용 GPU에서도 대규모 언어 모델을 파인튜닝할 수 있게 한다.
비디오 램(VRAM): — 그래픽 카드에 탑재된 메모리로, AI 모델의 가중치와 연산 데이터를 저장하는 공간이다. 파인튜닝 시 모델 크기와 배치 사이즈에 따라 필요한 VRAM 용량이 결정된다.
어댑터 가중치(Adapter Weights): — LoRA와 같은 기법에서 원본 모델은 고정한 채 새로 추가하여 학습시킨 작은 크기의 가중치 파일이다. 전체 모델을 저장할 필요 없이 이 파일만 공유하여 특정 도메인 성능을 재현할 수 있다.

언급된 도구

Unsloth추천링크

LLM 파인튜닝 속도 가속 및 메모리 사용량 최적화 라이브러리

Meta-Llama-3.2-1B-Instruct중립

파인튜닝을 위한 경량 베이스 언어 모델

언급된 리소스

GitHubinvincibleambuj/llama-3.2-1b-legal-india-qlora