최소한의 RLVR 훈련으로 LLM의 외삽을 달성하는 방법: Rank-1 궤적 기반

RLVR은 대규모 언어모델의 추론 능력을 개선하는 핵심 기법이지만 계산 비용이 큼. 이 논문은 RLVR 업데이트가 매우 저랭크이며 대부분의 개선이 rank-1 구성요소에 의해 설명될 수 있음을 보인다. 이로써 초기 관찰 구간을 바탕으로 앞으로의 체크포인트를 예측하는 간단하고 계산 효율적인 RELEX를 제안하고, 최소 15–20%의 RLVR 학습 비용으로도 전체 성능에 근접하거나 개선된 결과를 얻을 수 있음을 보인다. 또한 rank-1 서브스페이스를 통한 투영이 노이즈를 제거하는 “스펙트럴 denoising” 효과를 갖는다는 점을 제시한다.

단계 1: RLVR 훈련 궤적을 각 텐서별 delta θt를 수집하고, 각 텐서를 차원 축소하지 않은 채로 M(ℓ) = [flatten(∆θt)]의 형태로 쌓아 두고 SVD를 수행한다. 단일(상위) 특이벡터 v1을 얻고, ct = ⟨flatten(∆θt), v1⟩ 형태로 rank-1 계수 시퀀스를 얻는다. 단계 2: ct의 시계열을 선형 모델 c(t) = a t + b로 맞춰, 대상 시점 T에서 cT̂를 계산한다. 단계 3: 예측 체크포인트는 θ0 + cT̂ · v1으로 재구성된다. 이 방식은 raw weight space보다 SVD 서브스페이스에서 노이즈를 제거하고, rank-1 계수의 선형성으로 extrapolation을 가능하게 한다.

Algorithm 2 RELEX: RLVR Extrapolation의 핵심 흐름은 1) Rank-1 서브스페이스 추정: 각 텐서에 대해 ∆θt를 모아 M(ℓ)으로 만들고 SVD를 통해 v1을 얻는다. 2) 선형 계수 외삽: c(ℓ)1 = [flatten(∆θt)·v1]를 모아 선형 회귀로 a(ℓ), b(ℓ)를 구하고, T에서 ĉ(ℓ)T = a(ℓ)T + b(ℓ)로 매끈한 외삽을 수행한다. 3) 체크포인트 예측: ˆθT = θ0 + ĉT · v1을 구성한다. 구현상 각 텐서에 대해 M(ℓ)에서 Gram 행렬 G(ℓ) = M(ℓ)M(ℓ)⊤를 이용해 SVD를 수행하고, 고차원 벡터 대신 저차원 정보로 추정한다. 이 과정은 학습 없이도 실행 가능하며, Tcut 내부에서만 SVD를 수행한다."

주요 결과는 아래와 같음: (i) Rank-1 재구성은 RLVR 체크포인트를 거의 완벽히 재현하며 MATH에서 기존 RLVR의 성능을 유지한다. (ii) RELEX는 15–20%의 RLVR 학습 비용으로도 RLVR과 비슷하거나 더 나은 성능을 달성하며 I/O 및 OOD 벤치마크에서도 견고하다. (iii) Higher-rank 추가가 성능 향상에 기여하지 않으며, Linear 추정이 가장 안정적이다.

RELEX의 핵심은 한 텐서당 전체 trajectory를 단일 rank-1 방향으로 요약하는 것과, 이 방향에 대한 scalar coefficient ct의 근사치를 선형 함수로 추정하는 것이다. Step 1에서 각 텐서의 Δθt를 벡터화하여 행렬 M(ℓ)로 구성하고, M(ℓ) = U Σ V⊤의 SVD를 수행해 V의 상위 벡터 v1을 취한다. Step 2에서 ct = flatten(∆θt)·v1을 계산해(각 t에 대해) c(t)의 선형 회귀를 수행한 뒤, T에 대해 ĉT을 얻는다. Step 3에서 ˆθT = θ0 + ĉT v1으로 재구성한다. 이때 Gram 행렬 기반의 저차원 근사로 대량의 텐서에 대해 효율적으로 수행하며, SVD는 Tcut 차원에서만 수행되어 계산 비용이 낮다. RELEX의 추정은 학습 파라미터를 필요로 하지 않으며, 관찰 구간 내에서만 SVD를 수행해 추정한다.

본 연구는 GRPO를 이용한 수학적 추론 문제에 대해 Qwen 계열의 세 모델에서 실험되었으며, PPO 등 다른 RL 알고리즘이나 다른 태스크, 다른 모델 계열에서의 저랭크 구조 유무는 아직 열려 있다. 또한 rank-1 설계가 모든 모델 및 태스크에 일반화될지 여부는 모델별로 적응적 차원이 필요할 수 있다.