LLM의 추론 능력: RLVR은 정말 새로운 능력을 만드는가?

• •RLVR은 새로운 추론 능력을 창조하기보다 기존 경로의 확률을 높임
• •Base 모델의 잠재적 능력을 효율적으로 추출하는 것이 RL의 본질
• •능력의 경계(Reasoning Boundary)는 RL만으로 확장되지 않음

RLVR은 수학 문제나 코드 테스트처럼 정답 여부를 객관적으로 검증할 수 있는 보상을 사용하는 강화학습 기법이다.

• •RLVR은 보상이 명확한 도메인(수학, 코딩)에서 강력한 성능을 발휘함
• •RLHF 대비 보상의 노이즈가 적고 학습 목표가 뚜렷함
• •학습 과정에서 정답 경로의 확률 분포가 날카로워지는 Sharpening 현상 발생

RLHF는 인간의 선호도를 학습한 Reward Model을 사용하지만, RLVR은 코드 실행 결과 등 객관적 지표를 보상으로 쓴다.

• •K가 커질 때 Base 모델이 따라잡는다면 역량 자체가 부족한 것은 아님
• •RL은 K=1일 때의 성능(샘플링 효율)을 극대화하는 데 최적화됨
• •Distillation은 모델의 근본적인 성능 상한선 자체를 높이는 효과가 있음

Pass@K는 K개의 샘플을 생성했을 때 그중 하나라도 정답일 확률을 나타내는 평가지표다.

• •RL 정답 경로의 Perplexity는 Base 모델의 예측 범위 안에 있음
• •RL 학습은 모델의 지식 분포를 근본적으로 바꾸지 않음
• •Ground Truth 경로와 RL 생성 경로의 분포 유사성을 확인

Perplexity는 모델이 특정 텍스트 시퀀스를 얼마나 예측하기 어려워하는지를 나타내는 척도다.

• •Distillation은 모델의 추론 경계 자체를 확장하는 실질적 수단임
• •RL은 주입된 지식을 꺼내는 효율성을 높이는 보완적 역할
• •DeepSeek-R1 등의 사례에서 Distillation의 중요성이 재확인됨

Distillation은 상위 모델의 출력값을 하위 모델이 학습하여 성능을 전이받는 기법이다.

• •매우 어려운 과제에서는 RL이 새로운 해결 경로를 탐색할 가능성 존재
• •학습 스텝 수와 과제의 복잡도에 따라 결과가 달라질 수 있음
• •두 논문의 결과는 RL의 역할을 바라보는 서로 다른 시각을 제공함

ProRL 논문은 RL 학습이 모델의 추론 경계를 실제로 확장할 수 있다는 증거를 제시한 연구다.