GPT-OSS를 위한 에이전트형 강화학습(Agentic RL) 학습 활성화: 실전 회고록

섹션별 상세

에이전트형 RL은 정적 데이터셋 대신 에이전트가 환경과 직접 상호작용하며 수집한 롤아웃 궤적을 통해 의사결정 프로세스를 최적화한다.

GPT-OSS의 MoE 아키텍처에서 발생하는 게이팅 네트워크의 수치적 미세 차이는 PPO 학습 시 중요도 샘플링 비율을 왜곡하여 학습 불안정성을 초래한다.

FlashAttention v2 및 v3는 GPT-OSS의 핵심인 어텐션 싱크의 역전파를 지원하지 않아 학습과 추론 간의 심각한 확률 불일치를 유발한다.

연구팀은 어텐션 싱크의 역전파 수식을 직접 유도하여 FlashAttention v3 커널에 구현함으로써 그래디언트 폭주 문제를 해결하고 학습 수렴을 가속화했다.

FSDP 환경에서 MoE 레이어의 비효율적인 메모리 구체화 방식을 순차 처리 방식으로 수정하여 대규모 모델 학습 시 발생하는 OOM 문제를 방지했다.

시퀀스 병렬화 기법을 어텐션 싱크와 호환되도록 구현하여 긴 컨텍스트를 가진 에이전트 학습 시의 메모리 확장성을 확보했다.