LoRA 하이퍼파라미터 자동 탐색 도구 오픈소스 공개: Llama 8B에서 70B로의 성능 전이 확인

실용적 조언

Llama 8B 모델을 대상으로 1개의 GPU에서 5분 단위의 실험을 100회 수행하는 자율 에이전트 루프를 구축했다. Andrej Karpathy의 autoresearch 구조를 차용하여 고정된 예산 내에서 지속적으로 최적의 하이퍼파라미터를 탐색하도록 설계했다.

탐색 단계에서 기본 LoRA 대비 4.14%의 성능 향상을 기록했으며, 여러 시드(seed)를 통한 교차 검증 시 1.48%의 향상폭을 유지했다. 특히 Llama 70B 모델로 확장했을 때 성능 향상폭이 3.35%로 다시 확대되는 현상이 관찰됐다.

특정 모듈 2개에 Rank 8을 적용하는 일반적인 방식보다 모든 7개 모듈 타입에 Rank 4를 고르게 적용하는 것이 더 효과적임을 발견했다. Dropout과 Weight Decay를 제거하고 Linear Schedule을 사용하는 설정이 최적의 결과를 냈다.

Llama 70B 검증은 Zagora 라이브러리를 사용하여 소비자용 GPU인 RTX 4090 2대(총 48GB VRAM)에서 분산 처리 방식으로 수행했다. 공개된 레시피는 하이퍼파라미터 설정값이므로 어떤 분산 학습 환경에서도 적용 가능하다.

저순위 적응(LoRA): — 거대 언어 모델의 전체 가중치를 수정하는 대신, 가중치 행렬을 두 개의 작은 행렬로 분해하여 일부 파라미터만 학습시키는 경량화 파인튜닝 기법이다. 적은 계산 자원으로도 모델을 특정 작업에 최적화할 수 있어 실무에서 널리 쓰인다.
하이퍼파라미터(Hyperparameter): — 모델 학습 과정에서 사용자가 직접 설정해야 하는 변수로, 학습률이나 배치 크기 등이 포함된다. 모델이 데이터로부터 스스로 학습하는 파라미터와 달리, 학습의 효율성과 최종 성능을 결정짓는 핵심적인 외부 설정값이다.
랭크(Rank): — LoRA에서 분해된 행렬의 크기를 결정하는 수치로, 학습 가능한 파라미터의 양을 조절한다. 랭크가 높을수록 더 많은 정보를 학습할 수 있지만 메모리 사용량이 늘어나며, 적절한 랭크를 찾는 것이 성능 최적화의 관건이다.
교차 스케일 전이(Cross-scale Transfer): — 작은 크기의 모델에서 발견한 최적의 설정이나 학습 방법이 더 큰 규모의 모델에서도 동일하게 효과를 발휘하는 현상이다. 이를 활용하면 비용이 저렴한 소형 모델에서 실험을 마친 뒤 대형 모델에 바로 적용하여 비용을 절감할 수 있다.

Zagora추천

소비자용 GPU에서의 분산 학습 및 검증

Zagora Discovery Lab추천

LoRA 하이퍼파라미터 자동 탐색 프레임워크