Amazon Nova Forge를 활용한 LLM 커스터마이징 및 하이퍼파라미터 튜닝 전략

Amazon Nova Forge는 Continued Pre-training(CPT), Supervised Fine-tuning(SFT), Reinforcement Fine-tuning(RFT)을 결합하여 LLM을 도메인 특화 모델로 커스터마이징하는 파이프라인을 제공한다. 도메인 데이터 학습 시 발생하는 catastrophic forgetting을 방지하기 위해 데이터 혼합(data mixing)과 적절한 체크포인트 선택이 필수적이다. 학습률, 배치 크기, LoRA 설정 등 하이퍼파라미터 튜닝은 모델의 일반 능력 유지와 도메인 성능 향상 사이의 균형을 결정한다. 실험 결과, 적절한 학습률과 랭크 설정은 타겟 성능을 300% 이상 개선할 수 있다.