Llama 3.2-1B LoRA 파인튜닝 상세 분석 및 결과 공유

실용적 조언

LoRA 학습 시 샘플 패킹(sample packing)을 활성화하여 GPU 자원 활용도를 높이고 학습 시간을 단축할 것
데이터셋 선택 시 노이즈가 포함된 원본 Alpaca 대신 alpaca-cleaned 버전을 사용할 것
학습 과정에서 loss와 perplexity 추이를 모니터링하여 최적 지점에서 학습을 조기 종료할 것

섹션별 상세

학습 설정: Llama 3.2-1B 모델에 LoRA(r=16, alpha=32, dropout=0.05)를 적용하고 Alpaca 데이터셋으로 3 에폭 학습을 수행했다. 시퀀스 길이는 2048로 설정했으며 마이크로 배치 사이즈 2, 그래디언트 누적 4를 사용하여 유효 배치 사이즈 8로 학습했다.

학습 결과: 학습 10k 스텝(1.7 에폭) 지점에서 loss 0.804, perplexity 2.23으로 가장 낮은 수치를 기록했다. 이후 15k 스텝에서는 loss가 0.962로 상승했고, 최종적으로 3 에폭 완료 시 loss 0.931, perplexity 2.54를 기록하며 과적합 경향을 보였다.

하드웨어 효율: AWS g5.xlarge(A10G 24GB) 인스턴스에서 총 3시간 3분이 소요되었다. 피크 VRAM 사용량은 3.26GB로, 24GB 가용 메모리 대비 매우 여유로운 자원 활용도를 보였다.

최적화 제언: 샘플 패킹(sample packing)을 비활성화하여 짧은 Alpaca 데이터가 2048 토큰으로 패딩되는 비효율이 발생했다. 다음 학습 시에는 패킹을 활성화하고 마이크로 배치 사이즈를 8로 늘려 학습 시간을 단축할 계획이다.

용어 해설

로라(LoRA): — Low-Rank Adaptation. 전체 가중치를 학습하는 대신 저순위 행렬을 추가하여 파라미터 수를 획기적으로 줄이는 미세 조정 기법이다. 적은 메모리로도 효율적인 학습이 가능하다.
퍼플렉시티(Perplexity): — 언어 모델의 성능을 측정하는 지표로, 모델이 다음 단어를 얼마나 잘 예측하는지 나타낸다. 값이 낮을수록 모델의 예측 성능이 우수함을 의미한다.
그래디언트 체크포인팅(Gradient Checkpointing): — 역전파 과정에서 중간 활성화 값을 저장하지 않고 재계산하여 메모리 사용량을 줄이는 기법이다. GPU 메모리가 제한적인 환경에서 큰 모델을 학습할 때 필수적이다.
샘플 패킹(Sample Packing): — 여러 개의 짧은 학습 데이터를 하나의 시퀀스로 묶어 입력하는 기법이다. 패딩 토큰을 최소화하여 GPU 연산 효율을 높이고 학습 속도를 향상시킨다.

언급된 도구

Axolotl추천

파인튜닝 프레임워크