GRPO를 활용한 소형 LLM의 64토큰 요약 성능 최적화 실험

작성자가 사용한 smolcluster.com 도구와 Mac Mini 클러스터 구성 방식에 대해 흥미롭다는 반응이 많으며, 구체적인 코드와 WandB 차트 공유를 환영하는 분위기이다.

• 엄격한 길이 제한이 필요한 요약 태스크에는 METEOR와 ROUGE-L을 혼합한 보상 함수를 GRPO에 적용하라.
• 애플 실리콘 환경에서 분산 학습을 하려면 MLX와 vLLM-metal을 결합한 구조를 검토하라.

GRPO

— DeepSeek-R1에서 제안된 강화학습 알고리즘으로, 별도의 비평가(Critic) 모델 없이 그룹 내 출력들의 상대적 보상을 비교하여 모델을 최적화하는 기법이다. 계산 자원을 절약하면서도 특정 제약 조건이나 품질 기준에 맞춰 모델을 정렬하는 데 효과적이다.

ROUGE-L

— 가장 긴 공통 부분 수열(LCS)을 기반으로 요약문의 품질을 측정하는 지표이다. 텍스트의 구조적 유사성을 평가하며, 정답 요약문과 생성 요약문 사이의 문장 수준 유사도를 파악하는 데 널리 사용된다.

METEOR

— 단순 단어 일치를 넘어 유의어 매칭과 어형 변화까지 고려하여 번역이나 요약의 품질을 측정하는 지표이다. 정밀도와 재현율의 조화 평균을 사용하며, 문장의 흐름과 의미적 유사성을 ROUGE보다 더 정교하게 반영한다.

Length Penalty

— 강화학습 과정에서 생성된 텍스트가 목표로 하는 길이를 초과하거나 미달할 때 보상을 깎는 제약 방식이다. 이 프로젝트에서는 64토큰이라는 엄격한 제한 내에서 핵심 정보를 압축하도록 유도하는 역할을 한다.