Self-Distilled RLVR: 강화학습과 자기 증류를 결합한 안정적인 LLM 학습 프레임워크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존의 온폴리시 자기 증류(OPSD) 방식은 모델이 스스로 교사와 학생 역할을 수행하며 진화하지만, 특권 정보를 가진 교사로부터의 신호가 정보 누출과 장기 학습 불안정성을 초래하는 한계가 있었다. 본 연구는 이러한 문제를 해결하기 위해 검증 가능한 보상을 활용하는 강화학습(RLVR)과 자기 증류를 결합한 RLSD(RLVR with Self-Distillation) 프레임워크를 구축했다. RLSD는 자기 증류를 통해 토큰 수준의 정책 차이를 계산하여 업데이트 강도를 결정하고, RLVR을 통해 환경 피드백으로부터 신뢰할 수 있는 업데이트 방향을 도출한다. 이 방식은 두 방법론의 장점을 동시에 활용함으로써 더 높은 수렴 고점과 우수한 학습 안정성을 달성했음이 확인됐다.

배경

강화학습(Reinforcement Learning) 기초, 지식 증류(Knowledge Distillation) 개념, LLM 학습 파이프라인에 대한 이해

대상 독자

LLM 학습 알고리즘 및 강화학습 프레임워크를 연구하는 AI 엔지니어

의미 / 영향

이 연구는 LLM의 자기 진화 과정에서 발생하는 정보 누출 문제를 해결할 수 있는 구체적인 방법론을 제공한다. RLVR의 안정성과 증류의 세밀함을 결합함으로써, 향후 수학이나 코딩과 같이 검증 가능한 영역에서 모델의 성능을 더욱 안정적으로 끌어올릴 수 있을 것으로 전망된다.

섹션별 상세

온폴리시 자기 증류(OPSD)는 모델이 참조 정답과 같은 특권 정보를 활용해 스스로를 가르치는 방식이다. 하지만 이 과정에서 교사 모델의 신호가 학생 모델에게 과도하게 전달되어 정보 누출이 발생한다. 이러한 누출은 모델이 논리적 추론 대신 정답 패턴만을 암기하게 만들어 장기적인 학습 안정성을 해치는 원인이 된다. 결과적으로 학습이 진행될수록 모델의 실제 문제 해결 능력은 정체되거나 하락하는 현상이 나타난다.

검증 가능한 보상을 통한 강화학습(RLVR)은 환경의 결과물로부터 명확하고 객관적인 신호를 얻는 구조를 가진다. 수학 문제의 정답이나 코드의 실행 성공 여부와 같은 외부 피드백을 보상으로 사용하여 모델의 방향성을 잡는다. 그러나 이러한 신호는 최종 결과에만 의존하므로 데이터가 희소하여 토큰 단위의 세밀한 정책 업데이트를 수행하기에는 한계가 있다. 이로 인해 학습 초기 단계에서 최적의 정책으로 수렴하는 속도가 상대적으로 느리게 나타난다.

구축된 RLSD 프레임워크는 자기 증류 기법을 활용해 토큰 단위의 정책 차이를 정밀하게 계산한다. 현재 모델과 이전 모델 간의 확률 분포 차이를 계산하여 각 토큰이 업데이트되어야 할 구체적인 크기(Magnitude)를 결정한다. 이를 통해 모델은 어떤 부분에서 정책 변화가 필요한지 세밀하게 인지하고 학습 효율을 극대화한다. 결과적으로 희소한 보상 신호만으로는 파악하기 어려운 미세한 성능 개선 포인트를 잡아낼 수 있다.

업데이트의 방향(Direction)은 RLVR을 통해 환경 피드백으로부터 도출하여 학습의 신뢰도를 확보한다. 응답의 정확성이라는 확실한 기준을 바탕으로 업데이트 방향을 설정함으로써 자기 증류에서 발생할 수 있는 정보 누출 문제를 원천적으로 방지한다. 방향은 외부 검증을 따르고 크기는 내부 증류를 따르는 이원화된 구조를 통해 학습의 안정성을 유지한다. 이러한 결합 방식은 모델이 잘못된 방향으로 과적합되는 것을 막아주는 안전장치 역할을 수행한다.

실험 결과 RLSD는 RLVR의 안정성과 OPSD의 세밀한 학습 능력을 결합하여 기존 방식보다 높은 성능 수렴 지점에 도달했다. 학습 과정 전반에서 일관된 성능 향상 곡선을 유지하며 장기 학습 시에도 불안정성 없이 최적화가 진행됨이 확인됐다. 특히 복잡한 추론이 필요한 과제에서 두 방법론의 장점이 상호 보완적으로 작용하여 최종 모델의 정확도를 크게 향상시켰다. 이는 향후 LLM의 자가 진화 학습을 위한 새로운 표준 프레임워크로서의 가능성을 입증한다.

실무 Takeaway

LLM 학습 시 자기 증류만 사용하면 정보 누출로 인해 학습이 불안정해질 수 있으므로, RLVR과 같은 외부 검증 신호를 결합하여 업데이트 방향을 고정해야 한다.
토큰 수준의 세밀한 업데이트가 필요한 경우 자기 증류를 통해 정책 간 차이를 계산하고, 이를 RLVR의 보상 신호와 통합하여 학습 효율을 높일 수 있다.

언급된 리소스

논문Self-Distilled RLVR (arXiv:2604.03128)