ResRL: 음성 샘플 투영 잔차 강화 학습을 통한 대형 언어 모델의 추론 능력 향상

대형 언어 모델의 추론 능력을 강화하기 위한 강화 학습 과정에서 정답(Positive)과 오답(Negative) 간의 의미적 중첩으로 인해 발생하는 그래디언트 충돌 문제를 해결합니다. 오답의 그래디언트 업데이트가 정답의 유효한 논리 구조까지 억제하는 현상을 방지하여 모델의 성능과 생성 다양성을 동시에 개선합니다.

강화 학습에서 모델이 오답을 생성했을 때 이를 억제하기 위해 Gradient Descent를 수행하면, 오답 문장에 포함된 유효한 단어나 논리적 단계(Token)들의 확률까지 함께 낮아지는 문제가 발생한다. 이는 정답과 오답이 문법적 구조나 초기 추론 단계의 Embedding 공간에서 상당 부분 겹치기 때문이다.

ResRL은 이러한 '그래디언트 간섭'을 해결하기 위해 정답 데이터들이 형성하는 고유한 벡터 공간(Positive Subspace)을 먼저 정의한다. 오답 토큰의 벡터가 이 정답 공간과 얼마나 일치하는지를 계산하여, 정답 공간에 가까운 성분은 보호하고 정답 공간에서 벗어난 '순수하게 틀린' 성분에 대해서만 강한 페널티를 부여한다.

결과적으로 모델은 정답의 논리 구조를 파괴하지 않으면서 오답의 핵심 원인만을 효과적으로 학습하게 된다. 이를 통해 특정 정답 패턴에만 매몰되는 모드 붕괴(Mode Collapse)를 방지하고, 다양한 정답 경로를 탐색할 수 있는 능력을 유지하며 성능을 높인다.

전체적인 접근 방식은 강화 학습의 목적 함수 내에서 오답 샘플에 대한 그래디언트 가중치를 토큰 단위로 동적으로 조절하는 것이다. 이를 위해 정책 모델의 펜얼티메이트(Penultimate) 은닉층에서 추출된 표현을 사용하여 정답 토큰들의 의미적 분포를 대변하는 서브스페이스를 구축한다.

먼저 정답 토큰 집합 P에 대해 LayerNorm과 중심화(Centering)를 거친 행렬 X+를 구성한다. 이후 X+에 대해 Truncated SVD를 수행하여 상위 k개의 주성분 벡터 Vk를 추출하고, 이를 통해 정답 서브스페이스로의 투영 행렬 PS = VkVkᵀ를 생성한다. [정답 토큰 벡터들을 입력으로] → [SVD 연산을 통해 분산이 가장 큰 k개의 방향을 추출하여] → [정답 공간을 정의하는 기저 벡터를 얻고] → [이 공간이 정답의 핵심 의미 구조를 나타내게 한다.]

오답 토큰 x⁻에 대해서는 투영 잔차 Ri,t = 1/d ||(I - PS)x⁻||₂²를 계산한다. [오답 토큰 벡터에서 정답 공간에 투영된 성분을 제외한 나머지를 계산하여] → [잔차 값을 얻고] → [이 값이 클수록 정답과 무관한 오류 성분이 많음을 의미하게 한다.] 최종적으로 이 잔차를 기반으로 분위수 정규화(Quantile Normalization)를 거쳐 토큰별 가중치 ωi,t를 산출하고, 이를 NSR 가중치로 사용하여 정책 업데이트를 수행한다.

수학 추론 벤치마크(AIME24/25, AMC23 등)에서 Qwen3-4B 모델 기준 Avg@16 점수가 NSR 대비 9.4% 향상되었으며, Pass@128 결과에서도 7.0%의 성능 개선을 보였다. 특히 난이도가 높은 AIME 데이터셋에서 큰 폭의 향상을 기록하며 모델의 견고한 추론 능력을 입증했다.

코드 생성 작업에서는 CodeForces 레이팅이 NSR 대비 9.6% 향상되었으며, 에이전트 작업인 ALFWorld에서는 성공률 86.7%를 기록하여 PPO(80.4%)와 EMPG(78.5%)를 크게 앞질렀다. 또한 BFCL 벤치마크의 함수 호출 테스트에서도 다회차 도구 사용(Multi-turn tool-use) 정확도가 ResT 대비 2.8% 개선되는 성과를 거두었다.

ResRL은 Lazy Likelihood Displacement(LLD) 현상이 출력 헤드의 그래디언트 간섭에서 기인한다는 점을 수학적으로 증명했다. 구체적으로 헤드 그래디언트의 내적이 로짓(Logit) 공간의 유사도와 표현(Representation) 공간의 정렬도로 분해됨을 보이고, 표현 정렬도를 제어함으로써 LLD를 완화할 수 있음을 이론적으로 뒷받침했다.

구현 측면에서는 계산 효율성을 위해 전체 정답 토큰 대신 샘플링된 M개의 토큰을 사용하여 SVD를 수행하며, 펜얼티메이트 레이어의 은닉 상태를 사용하여 최종 출력층의 편향을 최소화했다. 또한 분위수 기반의 게이팅 메커니즘(Group-Relative Gating)을 도입하여 프롬프트별로 상이한 잔차 스케일에 대응할 수 있도록 설계했다.

논문은 k값이 너무 클 경우 정답 서브스페이스가 오류 성분까지 흡수하여 변별력이 약화될 수 있다는 '보호-차별 트레이드오프(Protection-Discrimination Tradeoff)'를 언급했다. 또한 SVD 계산 비용이 추가되지만, 샘플링과 저순위 근사를 통해 이를 관리 가능한 수준으로 유지하고 있음을 밝혔다.