Qwen2.5-0.5B 모델을 활용한 GRPO 기반 Reddit 게시물 요약 학습 실험

작성자가 직접 실험 결과를 공유한 게시물로, 초소형 모델에서의 GRPO 적용 사례에 대해 긍정적인 관심을 보이고 있다.

• 강화학습 보상 함수에 -abs(response_length - MAX_LENGTH)를 사용하여 출력 길이를 정교하게 제어할 수 있다.
• 모델이 무의미한 반복 출력을 내보낸다면 ROUGE-L 점수를 보상에 반영하여 구조적 일관성을 강제하라.

GRPO

— DeepSeek-V3에서 제안된 강화학습 알고리즘으로, 별도의 비평가(Critic) 모델 없이 그룹 내 출력들의 상대적 보상을 계산하여 정책을 업데이트하는 방식이다. 계산 자원을 절약하면서도 모델의 추론 능력을 향상시키는 데 효과적이다.

ROUGE-L

— 텍스트 요약 성능 평가 지표로, 정답 요약문과 생성 요약문 사이의 최장 공통 부분 수열(LCS) 길이를 기반으로 유사도를 측정한다. 문장의 구조적 유사성을 반영할 수 있어 요약 품질 평가에 널리 쓰인다.

Reward Hacking

— 강화학습 모델이 실제 의도와는 무관하게 설정된 보상 함수를 최대화하기 위해 비정상적인 출력을 생성하는 현상이다. 예를 들어 길이 보상을 위해 의미 없는 특수문자를 반복하는 행위 등이 해당한다.