TL;DR
이 연구는 RL 후학습이 생성한 전역 가중치 변화 가운데 추론에 효과적인 성분이 사전학습된 특이벡터 좌표계에 집중되어 있음을 규명했다. 이로 인해 전체 파라미터를 갱신하지 않고도 매우 작은 저차원 재연결 행렬로 추론 성능과 탐색 능력을 유지하거나 개선할 수 있다. 결과적으로 모델 배포 시 파라미터 전송·병합·혼합 도메인 학습에서 발생하는 간섭 문제를 훈련 없이 완화할 수 있는 실용적 경로가 제시되었다.
왜 중요한가
이 연구는 RL 후학습이 생성한 전역 가중치 변화 가운데 추론에 효과적인 성분이 사전학습된 특이벡터 좌표계에 집중되어 있음을 규명했다. 이로 인해 전체 파라미터를 갱신하지 않고도 매우 작은 저차원 재연결 행렬로 추론 성능과 탐색 능력을 유지하거나 개선할 수 있다. 결과적으로 모델 배포 시 파라미터 전송·병합·혼합 도메인 학습에서 발생하는 간섭 문제를 훈련 없이 완화할 수 있는 실용적 경로가 제시되었다.
핵심 기여
Compact spectral rewiring로 추론-효과적 신호 추출
사전학습된 가중치의 SVD 좌표계에 RL 업데이트를 투영하여 ΔW*를 구성했고, 이를 통해 모델별로 1% 이하의 스펙트럴 랭크로도 Post-training 수준의 수학 추론 성능을 복원했다. 결과적으로 추출된 리와이어링 행렬은 전체 업데이트보다 훨씬 적은 저장공간으로 추론 이득을 보존했다.
스펙트럴 투영으로 대규모 샘플링에서 탐색 개선
SAR로 투영한 모델은 Pass@k 스케일링에서 unconstrained RL보다 포화 시점이 늦어져 작은 k에서 full-RL을 앞서고 큰 k에서 추가 이득을 얻었다. 이 현상은 SAR가 탐색을 좁히는 잔여 방향을 제거해 유용한 다양성을 보존했기 때문으로 해석되었다.
Mix-RL 정화로 도메인 간 간섭 완화
혼합 도메인 RL에서 SAR는 코딩 성능(LiveCodeBench v5/v6)을 개선하면서 수학과 지시응답 성능을 유지했다. 이는 전체 업데이트에 포함된 도메인별 잔여 방향이 간섭을 유발하고 SAR가 이를 필터링한다는 기하학적 관점과 일치했다.
전문가 병합에서 단일 도메인 최고 성능 초과
수학·코드 전문가의 가중치 델타를 사전학습 스펙트럼에 맞춰 투영한 뒤 병합하면 기존 가중치 평균 기반 기법보다 균형 잡힌 전이 성능을 제공했고, 여러 스케일에서 최고 단일 도메인 전문가를 능가했다.
핵심 아이디어 이해하기
사전학습된 선형층의 특이값분해(SVD)는 입력을 주요 특징(우측 특이벡터)으로 읽어들이고 출력 방향(좌측 특이벡터)으로 재구성하는 기능적 기저를 제공한다. 이 기저는 모델 내에 잠재된 '원자적 기술'을 나타내며, 많은 기능은 이 주된 스펙트럴 부분공간에 병목화되어 저장된다. 따라서 RL로 얻은 변화가 이 부분공간에서 어떻게 재연결되는지 보면 추론 관련 신호를 분리할 수 있다.
방법론
전체 접근은 사전학습된 각 가중치 행렬 W0의 상위 SVD 성분(U, Σ, V)을 계산하고, RL로 얻은 모델 WRL과의 차이 ΔW = WRL − W0를 도출하는 것에서 출발한다. 그다음 ΔW의 상위 저계급 근사 ΔWk를 추출하고, 투영 연산 M = U⊤ ΔWk V를 계산하여 r×r 크기의 리와이어링 행렬을 확보한다. 재구성은 ΔW* = U M V⊤로 이루어지며, 최종 SAR 모델은 W0 + ΔW*가 된다.
관련 Figure
그림은 사전학습된 스펙트럴 좌표계 위에서의 '원래 기저'와 full-RL이 만든 오프-매니폴드 성분을 분리하는 과정을 보여준다. 이 도식은 ΔW를 U,V 기저로 투영해 내부 재연결 M을 얻하고, 이를 통해 ΔW*를 재구성하는 핵심 알고리즘적 흐름을 요약한다. 그림은 SAR가 왜 작은 스펙트럴 코어로 추론 성능을 보존할 수 있는지를 기하학적으로 직관화한다.
SAR의 기하학적 직관을 도식화한 그림으로서 사전학습 매니폴드, 전체 RL 업데이트 ΔW, 그리고 매니폴드로의 투영 ΔW* 관계를 시각적으로 제시한다.
주요 결과
단일 도메인 수학 벤치마크에서 SAR는 1.5B에서 32B 스케일에 걸쳐 full-RL 수준의 AVG@32와 Pass@k 성능을 보존했다. 표에는 DeepScaleR(1.54B)에서 재연결 행렬 저장비율이 약 0.58%로 보고되었고 OLMo-3.1-32B-Think에서는 약 0.64%가 보고되었다. Pass@k 곡선에서 SAR는 DeepScaleR에서 k=2, OLMo-3.1-32B-Think에서 k=4 지점에서 full-RL을 넘었고, 샘플 수가 증가할수록 더 큰 이득을 유지했다. Mix-RL 실험에서는 LCB v5가 67.61%에서 69.09%로, LCB v6가 64.30%에서 65.25%로 개선되었고 AIME25 Pass@16은 88.33%에서 91.71%로 상승했다.
관련 Figure
그래프는 SAR가 작은 k에서 full-RL 곡선을 따라가다가 k가 커질수록 full-RL을 추월하며 탐색 확장성을 개선한 점을 수치적으로 제시한다. 특히 DeepScaleR 계열에서 SAR가 full-RL을 k=2 지점에서 넘었다는 실험 서술과 일치하는 시각적 증거를 제공한다. 이 그림은 SAR가 탐색 유용성을 회복·증진한다는 결과를 직접적으로 뒷받침한다.
1.5B 모델에서 AIME 기준 Pass@k 곡선을 비교한 그래프으로서 Base, Full RL, SAR(1% projected)의 성능을 k에 따라 보여준다.
이 그래프는 대형 모델에서도 SAR 투영이 full-RL 수준의 Peak 성능을 유지하면서 대규모 샘플링에서의 확장 여력을 보존함을 보여준다. OLMo-3.1-32B-Think 실험과 일치하게 SAR는 높은 k에서도 성능 저하 없이 확장 모멘텀을 제공한다. 이 그림은 SAR의 스케일 보존성과 탐색 개선이 모델 크기에 걸쳐 일관됨을 지지한다.
32B 모델에서의 Pass@k 곡선으로서 Base, Full RL, SAR(1% projected)의 k별 정확도를 비교한 그래프이다.
바 차트는 SAR가 LiveCodeBench와 일부 코딩 벤치마크에서 Full-RL을 능가하면서 AIME 및 IFEval 성능은 대체로 유지되는 점을 강조한다. 이 시각 자료는 Mix-RL에서의 도메인 간 간섭 완화와 SAR의 정화 효과를 정량적으로 보여주는 증거로 작용한다. 차트는 또한 단일 도메인 전문가와의 병합 성능 비교에 대한 직관을 제공한다.
Mix-RL(혼합 도메인)과 SAR(1% projected) 간 성능 비교 바 차트로서 수학, 코드, 정렬(IFEval) 등 여러 벤치마크에서의 성능을 제시한다.
기술 상세
각 선형층 W0∈ℝ^{d_out×d_in}에 대해 SVD W0 = U Σ V⊤를 계산하고 U, V의 상위 r 성분을 보존하여 사전학습 스펙트럴 부분공간 𝒮_r(W0)를 정의했다. RL로 얻은 전체 업데이트 ΔW는 𝒮_r(W0)로 직교분해되어 ΔW = ΔW* + ΔW_⊥로 표기되며, ΔW는 P_U ΔW P_V = U(U⊤ ΔW V)V⊤로 명시적으로 계산된다. 실제 구현에서는 ΔW에 대해 먼저 저계급 근사 ΔW_k를 취한 뒤 M = U⊤ ΔW_k V를 계산해 r×r 크기의 리와이어링 행렬을 얻고, ΔW = U M V⊤로 재구성하였다.
한계점
논문이 명시한 경계는 사전학습 베이스 모델이 관련 도메인 지식을 이미 충분히 포함하지 않을 경우 SAR의 투영 적합도가 떨어진다는 점이다. 코드 RL의 경우 실행·포맷·툴 인터페이스 관련 행동은 사전학습 스펙트럼에 잘 맞지 않아 직접 투영으로 완전 복원이 어려웠고, 코드 SFT를 선행하면 투영 적합성이 개선된다고 보고되었다. 또한 PPO 스타일의 외부 critic과의 분포 차이로 인해 생성된 업데이트는 레퍼런스 매니폴드에 잘 적합하지 않을 수 있다.
실무 활용
SAR는 별도 재학습 없이 기존 RL 델타로부터 추론-효과적 업데이트를 추출하므로 모델 배포·병합·혼합 학습 파이프라인에서 비용과 간섭을 줄이는 직접적 적용이 가능하다. 특히 네트워크 전송·저장비용이 민감한 환경에서 작은 리와이어링 행렬만 배포해도 RL 이득을 유지할 수 있다. 다만 논문에 공개된 코드 저장소 정보는 제공되지 않았다.
- 대규모 모델을 여러 서버에 분산 배포할 때 전체 파라미터 대신 소형 리와이어링 행렬만 전송하여 업데이트 비용을 절감하는 시나리오.
- 다중 도메인 RL에서 도메인 간 간섭을 줄이기 위해 Mix-RL 델타를 사전학습 스펙트럼으로 정화한 뒤 통합 모델을 운영하는 시나리오.
- 독립적으로 학습된 도메인 전문가들을 사전학습 가중치의 스펙트럴 좌표로 투영한 다음 병합하여 균형 잡힌 다중 도메인 성능을 얻는 시나리오.
코드 공개 여부: 미확인
키워드
용어 해설
- SVD
- — 행렬을 직교 행렬 두 개와 대각 행렬의 곱으로 분해하여 입력 특징의 주요 성분과 출력 방향을 분리하는 선형대수 기법이다. 본 논문에서는 각 선형층의 U, Σ, V 성분을 '사전학습된 스펙트럼 기저'로 사용하여 가중치 변화의 의미 있는 방향을 정의한다. 이 구조는 파라미터 공간에서 기능적 원자(skill)를 식별하는 역할을 한다.
- Spectral Manifold
- — 사전학습된 가중치의 특이벡터들이 생성하는 부분공간으로서 모델의 핵심 기능들이 압축되어 표상되는 좌표계이다. 논문에서는 이 매니폴드 위로 RL 업데이트를 투영하여 '추론 효과적' 구성요소를 분리했다. 매니폴드는 이후 압축·정화·병합 연산의 기준 좌표계로 사용된다.
- Rewiring Matrix
- — U⊤ ΔW V로 정의되는 r×r 행렬로서 사전학습된 특이벡터 좌표계에서의 가중치 재연결을 수치화한다. 대각성분은 기존 기능의 스케일링을 나타내고, 비대각성분은 서로 다른 잠재 방향들 간의 증거 결합을 나타낸다. 이 행렬을 저장·전달하면 전체 ΔW보다 훨씬 작은 크기로 추론 관련 변경을 표현할 수 있다.
- Pass@k
- — 동일 프롬프트에 대해 k개의 샘플을 생성했을 때 정답을 적어도 하나 포함하는 비율을 의미하는 샘플 기반 평가 지표이다. 본 논문에서는 작은 k에서의 성능과 큰 k에서의 탐색 확률 증분을 비교하여 RL 업데이트의 탐색 특성을 평가했다. Pass@k 곡선의 포화 시점과 기울기가 탐색 유용성의 척도로 사용됐다.
- Low-Rank Projection
- — 원래의 고차원 행렬에서 상위 k개의 특이성분만 추출하여 근사하는 연산으로서 저장 비용을 크게 줄인다. 논문에서는 ΔW의 상위 저계급 근사를 먼저 취한 뒤 이를 사전학습된 특이벡터 공간으로 투영하여 ΔW*를 구성했다. 이 과정은 추론 효과를 보존하면서 파라미터 축소를 가능하게 했다.
- Mix-RL
- — 수학, 코딩, 지시응답 등 서로 다른 능력을 하나의 RL 업데이트로 동시에 학습하는 방식으로, 서로 다른 도메인 업데이트 간 간섭이 발생할 수 있다. 본 논문에서는 Mix-RL의 잔여 성분이 도메인 간 간섭을 유발한다고 가정하고 SAR로 이를 정화했다. Mix-RL의 정화는 도메인 간 성능 균형을 개선하는 주요 대상이었다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.