MLX와 GRPO를 활용한 Mac Mini 클러스터 기반 요약 모델 강화학습 실험

실용적 조언

Apple Silicon 환경에서 분산 학습을 고려한다면 MLX와 vLLM의 조합을 검토하십시오.
요약 모델 학습 시 ROUGE-L을 보상 함수에 포함하면 결과물의 구조적 안정성을 높일 수 있습니다.

섹션별 상세

Mac Mini 3대로 구성된 클러스터에서 MLX와 vLLM을 조합하여 분산 학습 환경을 구축했다. 1개의 노드가 GRPO 학습을 주도하고 나머지 2개의 노드가 vLLM을 통해 롤아웃 데이터를 생성하는 방식으로 처리량을 확보했다. Apple Silicon 환경에서 오픈소스 도구들을 활용해 강화학습 파이프라인을 구현할 수 있음을 실증했다.

보상 함수 설계 시 길이 패널티와 품질 보상을 결합하여 모델의 행동을 제어했다. 길이 패널티는 목표 길이와의 절대 오차를 감점하는 -abs(response_length - MAX_LENGTH) 공식을 사용했고, 품질 보상은 ROUGE-L 지표를 활용했다. 실험 결과 평균 롤아웃 길이가 약 64토큰 수준에서 안정적으로 유지되며 요약의 구조가 개선되는 성과를 거두었다.

학습된 모델의 성능을 검증하기 위해 LLM-as-a-Judge 방식을 도입하여 다각도로 평가했다. DeepEval 파이프라인을 구축하여 충실성(Faithfulness), 커버리지(Coverage), 간결성(Conciseness), 명확성(Clarity)의 4가지 축으로 점수를 산출했다. 단순 지표를 넘어 실제 요약의 품질 저하를 최소화하면서도 사용자 의도에 맞는 요약을 생성하는지 확인했다.

용어 해설

그룹 상대 정책 최적화(GRPO): — 강화학습 기법 중 하나로, 별도의 가치 모델(Value Model) 없이 그룹 내 샘플들의 상대적 보상을 비교하여 정책을 업데이트하는 방식이다. DeepSeek-R1 등 최신 모델 학습에 사용되며 계산 효율성이 높다.
루지-L(ROUGE-L): — 텍스트 요약 성능 평가 지표로, 생성된 문장과 정답 문장 사이의 최장 공통 부분 수열(LCS) 길이를 기반으로 유사도를 측정한다. 문장의 구조적 유사성을 파악하는 데 유용하다.
롤아웃(Rollout): — 강화학습 과정에서 현재 정책(Policy)을 사용하여 데이터를 생성하는 단계이다. 모델이 실제로 텍스트를 생성하고 그 결과에 대해 보상을 받는 일련의 과정을 의미한다.
길이 패널티(Length Penalty): — 모델이 너무 길거나 짧은 문장을 생성하지 않도록 보상 함수에 길이에 따른 감점을 부여하는 기법이다. 특정 목표 길이에 수렴하도록 유도하여 요약의 간결성을 높인다.

언급된 도구

MLX추천

Apple Silicon용 머신러닝 프레임워크

vLLM추천

고성능 추론 및 롤아웃 생성 엔진

DeepEval추천

LLM-as-a-Judge 평가 파이프라인 구축