M4 Mac에서 SmolLM2-360M으로 GRPO 강화학습 루프를 구현하며 겪은 시행착오

작성자의 실험적인 시도에 대해 흥미롭다는 반응이며, 특히 Mac 환경에서의 RL 학습 가능성과 한계에 대한 논의가 이루어지고 있다.

• Mac 환경에서 학습 중 NaN 발생 시 bfloat16으로 전환하여 수치 안정성을 확보할 것
• 초소형 모델 RL 시 초기 단계에서 구조적 보상(Partial Credit)을 통해 학습 루프를 안정화할 것

GRPO

— DeepSeek-R1에서 사용된 강화학습 알고리즘으로, 별도의 비평가(Critic) 모델 없이 그룹 내 샘플들의 상대적 보상을 사용하여 정책을 업데이트한다. 연산 자원을 절약하면서도 모델의 추론 능력을 강화하는 데 효과적이다.

MPS

— Apple이 제공하는 GPU 가속 프레임워크로, Mac 환경에서 PyTorch 등이 하드웨어 성능을 활용할 수 있게 돕는다. 하지만 복잡한 학습 루프에서는 메모리 파편화와 같은 최적화 이슈가 발생할 수 있다.

Mode Collapse

— 강화학습 시 모델이 다양한 가능성을 탐색하지 않고 보상이 높은 특정 출력 패턴에만 고착되는 현상이다. 이 글에서는 모델이 논리적 정답 대신 보상을 받기 쉬운 태그 형식에만 집중하는 현상으로 나타났다.

bfloat16

— 16비트 부동 소수점 포맷으로, float32와 유사한 지수 범위를 제공하여 학습 시 수치 안정성을 높인다. float16에서 발생하는 NaN(Not a Number) 오류를 억제하는 데 유리하다.

Backpropagation

— 신경망의 출력 오차를 역방향으로 전달하며 각 가중치의 기울기를 계산하는 과정이다. 학습 시 메모리 사용량 급증의 주요 원인이며, 특히 여러 롤아웃을 처리하는 RL 루프에서 부하가 크다.