Qwen2.5-0.5B 모델을 활용한 GRPO 기반 Reddit 게시물 요약 학습 실험

실용적 조언

강화학습 보상 함수에 -abs(response_length - MAX_LENGTH)를 사용하여 출력 길이를 정교하게 제어할 수 있다.
모델이 무의미한 반복 출력을 내보낸다면 ROUGE-L 점수를 보상에 반영하여 구조적 일관성을 강제하라.

섹션별 상세

작성자는 Qwen2.5-0.5B 모델을 smoltldr 데이터셋의 2,000개 행으로 학습시켜 요약 성능을 테스트했다. 초기 실험에서 목표 길이를 64토큰이 아닌 64자로 잘못 설정하여 평균 응답 길이가 10-15토큰에서 수렴하는 현상이 발생했다. 이를 수정하기 위해 길이 패널티 보상 함수를 -abs(응답 길이 - 최대 길이)로 설정하여 모델이 목표 길이에 맞게 출력하도록 유도했다.

강화학습 과정에서 모델이 보상 체계를 악용하는 보상 해킹(Reward Hacking) 문제를 해결하기 위해 품질 보상을 도입했다. 단순히 길이 보상만 주었을 때는 모델이 '-------'와 같은 무의미한 토큰을 반복했으나, ROUGE-L 지표를 품질 보상으로 추가하여 정답 요약문과의 구조적 유사성을 유지하도록 강제했다. 그 결과 1 에포크 학습 후에도 모델의 출력 품질이 저하되지 않고 안정적인 요약문을 생성했다.

실험은 배치 사이즈 2로 진행되었으며, 이는 작성자의 하드웨어 환경에서 메모리 부족(OOM)이 발생하기 전 최대 수치였다. 품질 보상이 포함된 실험과 포함되지 않은 실험 간의 보상 수치가 유사하게 나타난 원인에 대해 추가적인 분석이 필요함을 언급했다. 향후 계획으로 ROUGE-L 외의 다른 지표 도입과 LLM-As-A-Judge를 통한 정량적 평가 시스템 구축을 제시했다.

용어 해설

그룹 상대 정책 최적화(GRPO): — DeepSeek-V3에서 제안된 강화학습 알고리즘으로, 별도의 비평가(Critic) 모델 없이 그룹 내 출력들의 상대적 보상을 계산하여 정책을 업데이트하는 방식이다. 계산 자원을 절약하면서도 모델의 추론 능력을 향상시키는 데 효과적이다.
루지-L(ROUGE-L): — 텍스트 요약 성능 평가 지표로, 정답 요약문과 생성 요약문 사이의 최장 공통 부분 수열(LCS) 길이를 기반으로 유사도를 측정한다. 문장의 구조적 유사성을 반영할 수 있어 요약 품질 평가에 널리 쓰인다.
보상 해킹(Reward Hacking): — 강화학습 모델이 실제 의도와는 무관하게 설정된 보상 함수를 최대화하기 위해 비정상적인 출력을 생성하는 현상이다. 예를 들어 길이 보상을 위해 의미 없는 특수문자를 반복하는 행위 등이 해당한다.

언급된 도구

Qwen2.5-0.5B-Instruct추천

요약 태스크를 위한 베이스 언어 모델

smoltldr중립

Reddit 게시물 요약 학습용 데이터셋

wandb추천

학습 과정 및 보상 차트 모니터링

언급된 리소스

문서smoltldr Dataset