GRPO를 활용한 소형 LLM의 64토큰 요약 성능 최적화 실험

실용적 조언

엄격한 길이 제한이 필요한 요약 태스크에는 METEOR와 ROUGE-L을 혼합한 보상 함수를 GRPO에 적용하라.
애플 실리콘 환경에서 분산 학습을 하려면 MLX와 vLLM-metal을 결합한 구조를 검토하라.

섹션별 상세

64토큰 제한 환경에서 요약 품질을 높이기 위해 GRPO 기반의 강화학습을 수행했다. 모델은 길이 패널티만 적용한 그룹과 품질 보상(ROUGE-L, METEOR 등)을 병행한 그룹으로 나누어 학습되었다. 실험 결과 품질 보상을 결합한 설정이 종합 점수 2.77점으로 길이 패널티만 사용한 2.42점보다 우수한 성능을 기록했다.

보상 체계 구성에 따라 요약의 충실도와 가독성이 크게 달라졌다. METEOR와 ROUGE-L을 결합한 보상 시스템은 유의어 매칭과 구조적 유사성을 동시에 고려하여 가장 높은 종합 점수를 얻었다. 반면 BLEU 지표는 n-gram 정밀도에 치중하여 유의어 대응이 부족하다는 한계가 확인됐다.

하드웨어 구성은 Mac Mini 3대를 클러스터로 묶어 MLX 라이브러리를 통해 학습을 진행했다. 하나의 노드가 학습을 주도하는 파라미터 서버 역할을 하고, 나머지 노드들이 vLLM-metal 프레임워크를 통해 추론 및 롤아웃을 생성하는 SyncPS 아키텍처를 채택했다. 이를 통해 소규모 인프라에서도 GRPO 학습 파이프라인을 구현했다.

평가는 GPT-5를 판정관으로 사용하는 LLM-as-a-Judge 방식을 채택하여 DeepEval 도구로 측정했다. 충실도, 커버리지, 간결성, 명확성이라는 4가지 축을 기준으로 200개의 smoltldr 데이터셋 샘플을 테스트했다. 품질 보상이 포함된 모델은 특히 핵심 내용을 놓치지 않으면서도 환각을 줄이는 충실도 측면에서 강점을 보였다.

용어 해설

그룹 상대 정책 최적화(GRPO): — DeepSeek-R1에서 제안된 강화학습 알고리즘으로, 별도의 비평가(Critic) 모델 없이 그룹 내 출력들의 상대적 보상을 비교하여 모델을 최적화하는 기법이다. 계산 자원을 절약하면서도 특정 제약 조건이나 품질 기준에 맞춰 모델을 정렬하는 데 효과적이다.
루지-L(ROUGE-L): — 가장 긴 공통 부분 수열(LCS)을 기반으로 요약문의 품질을 측정하는 지표이다. 텍스트의 구조적 유사성을 평가하며, 정답 요약문과 생성 요약문 사이의 문장 수준 유사도를 파악하는 데 널리 사용된다.
메테오(METEOR): — 단순 단어 일치를 넘어 유의어 매칭과 어형 변화까지 고려하여 번역이나 요약의 품질을 측정하는 지표이다. 정밀도와 재현율의 조화 평균을 사용하며, 문장의 흐름과 의미적 유사성을 ROUGE보다 더 정교하게 반영한다.
길이 패널티(Length Penalty): — 강화학습 과정에서 생성된 텍스트가 목표로 하는 길이를 초과하거나 미달할 때 보상을 깎는 제약 방식이다. 이 프로젝트에서는 64토큰이라는 엄격한 제한 내에서 핵심 정보를 압축하도록 유도하는 역할을 한다.

언급된 도구

MLX추천

애플 실리콘에서의 모델 학습 및 추론

vLLM추천

분산 환경에서의 추론 및 롤아웃 생성

DeepEval추천

LLM-as-a-Judge 기반의 품질 평가 프레임워크

언급된 리소스

문서smolcluster.com