Llama 3.2-1B LoRA 파인튜닝 과정 및 결과 분석

커뮤니티 반응

작성자의 구체적인 설정값과 결과 공유에 대해 긍정적인 반응을 보이며, 특히 샘플 패킹과 데이터셋 선택에 대한 실무적 통찰에 공감하는 분위기이다.

주요 논점

01중립다수

Llama 3.2-1B 모델의 LoRA 파인튜닝은 하드웨어 자원이 충분할 때 효율적으로 수행 가능하다.

실용적 조언

짧은 시퀀스 데이터셋 학습 시 샘플 패킹을 활성화하여 GPU 연산 효율을 높일 것.
Alpaca 데이터셋 사용 시 원본보다는 노이즈가 제거된 yahma/alpaca-cleaned 버전을 사용할 것.
VRAM 여유가 있다면 마이크로 배치 사이즈를 늘려 학습 런타임을 단축할 것.

섹션별 상세

Llama 3.2-1B 모델을 LoRA(r=16, alpha=32) 기법으로 파인튜닝하며 g5.xlarge(A10G 24GB) 환경에서 3시간 3분 동안 학습을 진행했다. Axolotl 프레임워크를 사용했고, 마이크로 배치 사이즈 2와 그래디언트 누적 4를 적용하여 총 배치 사이즈 8로 설정했다.

학습 10,000 스텝(에폭 1.7) 지점에서 손실값 0.804와 퍼플렉서티 2.23으로 최적의 성능을 기록했다. 이후 3 에폭을 완료했을 때 최종 손실값은 0.931, 퍼플렉서티는 2.54로 나타났다.

학습 중 피크 VRAM 사용량은 24GB 중 3.26GB에 불과하여 하드웨어 자원이 충분히 여유로웠다. 짧은 Alpaca 데이터셋 샘플들이 2048 시퀀스 길이로 패딩되면서 GPU 자원이 낭비되었고, 샘플 패킹을 적용하지 않은 점이 비효율의 원인으로 지목됐다.

향후 작업에서는 샘플 패킹을 활성화하고, 원본 Alpaca 데이터셋의 노이즈를 피하기 위해 yahma/alpaca-cleaned 데이터셋을 사용할 계획이다. 마이크로 배치 사이즈를 8로 늘리면 런타임을 더욱 단축할 수 있을 것으로 분석됐다.

언급된 도구

Axolotl추천

파인튜닝 프레임워크

Llama 3.2-1B중립

기반 모델