SFT 충돌과 RL 공존의 LLM 다중태스크 분석

왜 중요한가

대규모 언어모델의 다중태스크 강화를 위해 어떤 학습 패러다임을 선택해야 하는지에 직접적 시사점을 준다. 본문은 SFT가 다단계 학습에서 태스크 간 강한 상호간섭으로 최종 성능 붕괴를 일으키는 반면, RL은 희소하고 거의 직교하는 업데이트를 만들어 태스크 간 공존을 허용한다고 규명한다. 이 메커니즘을 바탕으로 Parallel-RL 같은 병렬 학습·병합 파이프라인을 설계하면 다중태스크 학습의 효율성과 유연성을 동시에 확보할 수 있다.

핵심 기여

SFT와 RL의 다중태스크 일반화 차이의 실험적 증거

단일·혼합·다단계 학습을 비교한 실험에서 다단계 SFT는 평균 약 23.1%의 성능 감소를 보인 반면, 다단계 RL은 평균 약 24.9%의 성능 증가를 보였다는 점이 관측되었다. 같은 입력에서 단일 태스크로 학습한 뒤 다른 태스크 성능을 측정하면 SFT는 타태스크 성능을 평균 −5.1% 악화시키는 반면 RL은 평균 +2.3%의 긍정적 영향을 주었다. 이러한 경험적 차이는 파라미터 업데이트의 크기와 유사성(예: SFT ‖ΔW‖≈7.4, RL ‖ΔW‖≈3×10^−2; 코사인 유사도 SFT∼10^−1, RL∼10^−5)으로 구체화되어 다중태스크 설계 결정을 실무적으로 바꿀 수 있다.

정리된 이론: 노름 제한 vs 분산 제한의 간섭 상한

그래디언트 간섭을 수학적으로 다루어 SFT에서는 간섭이 스코어 함수의 절대 노름 M_i에 의해 상한되는 'norm-limited'이고, RL에서는 롤아웃 내 잔차 분산 V_i에 의해 상한되는 'variance-limited'임을 유도했다. 유도 과정은 GRPO 형태의 표준화된 advantage와 온폴리시 표본화가 평균 성분을 제거하고 잔차 δS 만을 남기며 이 잔차의 기대제곱이 작게 제한됨을 활용한다. 이론적 상한 |I_SFT(i,j)|≤M_i·M_j, |I_RL(i,j)|≤V_i·V_j는 실험에서 관측된 폭넓은 크기 차이를 정량적으로 뒷받침한다.

Parallel-RL: 병렬 학습과 업데이트 병합 패러다임

RL 업데이트의 근직교성 근거를 바탕으로 태스크별 RL을 병렬로 수행한 뒤 ΔW들을 병합하는 Parallel-RL을 제안하고 여러 병합 전략(sum, mean, TIES, SVD, light adaptation)을 평가했다. Naive Parallel-RL(sum)이라도 단일태스크 RL 성능의 약 95%를 보존했고, TIES·SVD 병합은 각각 약 98%·96%의 보존률을 보였으며 Adapted Parallel-RL은 소량의 사후 적응(원 데이터의 5%)으로 단일태스크 성능을 능가하는 결과를 얻었다. 이 방식은 다중태스크 학습을 모듈화하고 병렬화해 계산 효율을 높이면서도 태스크 특화 성능을 유지하거나 향상시키는 실용적 대안을 제시한다.

핵심 아이디어 이해하기

SFT와 RL의 핵심 차이는 그래디언트 형성 과정에 있다. SFT는 고정된 전문가 분포에서 로그가능도 기울기를 기대값으로 받아들여 절대 노름이 큰 스코어 함수 S^*를 만들고 이로 인해 서로 다른 태스크의 업데이트가 밀집하게 겹쳐 간섭을 유발한다. 반면 RL은 샘플별 보상에서 평균을 빼고 표준편차로 나눈 표준화된 advantage Â를 가중치로 사용하고 온폴리시 표본화로 롤아웃 내 잔차 δS만 남기므로 간섭 항이 잔차 간의 내적으로만 남는다. 잔차는 고차원에서 희소하고 독립적이면 근직교성을 띠기 쉬우며, 이로 인해 RL의 간섭 상한은 노름이 아니라 분산 V_i로 제한되어 태스크 공존이 가능해진다.

방법론

실험은 DeepSeek-R1-Distill-Qwen-1.5B 및 7B를 기반 모델로 하고 LoRA를 사용해 효율적 파인튜닝을 수행했으며, 태스크는 Math(MATH500), Science(MMLU), Logic(Knights & Knaves), Code(LiveCodeBench)로 구성되었다. SFT와 GRPO 기반 RL을 혼합데이터 훈련과 다단계 훈련 양쪽으로 비교하고, 각 단일 태스크에서 얻은 파라미터 업데이트 ΔW의 L2 노름과 쌍별 코사인 유사도를 계산해 기하학적 성질을 분석했다. 이론적 부분에서는 스코어 함수의 기대제곱 및 롤아웃 잔차 분산에 대한 경계 가정을 세우고, GRPO의 표준화된 advantage 합이 0이라는 성질을 이용해 RL 간섭 항을 잔차 항만 남는 형태로 분해한 뒤 상한을 유도했다.

주요 결과

테이블 기반 비교에서 다단계 SFT는 베이스 모델 대비 평균 −23.1%의 성능 하락을 보였고 혼합데이터 SFT는 소폭 향상에 그친 반면, RL은 다단계에서 평균 +24.9%의 향상을 보였다. 파라미터 레벨 분석에서 SFT의 ΔW 평균 L2 노름은 약 7.4였고 RL은 약 3×10^−2로 두 자릿수 이상의 차이를 보였으며, 태스크 간 코사인 유사도는 SFT가 ∼10^−1인 반면 RL은 ∼10^−5 수준으로 현격히 낮았다. Parallel-RL 병합 실험에서는 Naive sum 병합만으로도 단일태스크 RL 성능의 약 95%를 유지했고, Adapted Parallel-RL은 소량의 사후 적응으로 단일태스크 성능을 상회하는 평균 이득을 달성했다.

기술 상세

이론은 SFT의 기대 그래디언트 g_SFT=E_{x,y∼π_expert}[∇θ log π_θ(y|x)]와 RL의 g_RL=E{x,y∼π_θ}[A(x,y)∇_θ log π_θ(y|x)]의 구조적 차이에서 출발한다. GRPO에서 advantage를 표준화하면 ∑k Â{k}=0이 성립하고, 이로 인해 RL의 기대 내적은 평균 스코어 항을 소거한 잔차 δS 간 내적 항으로 분해된다(레마 4.3). 가정으로 각 태스크의 스코어 노름과 잔차 분산을 M_i^2, V_i^2로 둔 뒤 |I_SFT(i,j)|≤M_i·M_j 및 |I_RL(i,j)|≤V_i·V_j를 유도했고, 실험에서는 M≈7.1, ‖δS‖≈10^−2, CosSim(S_i,S_j) SFT∼10^−1 vs RL∼10^−3~10^−5 수준의 수치를 관찰했다. 구현상 GRPO, LoRA, LoRA 기반 파라미터 업데이트 수집과 SVD/TIES 기반 희소화, 합산·평균·SVD 병합, 병합 후 5% 데이터로의 빠른 적응이 실험에 적용되었다.

한계점

논문 실험은 DeepSeek-R1- Distill-Qwen-1.5B/7B와 네 개의 reasoning 벤치마크에 집중되어 있어 결과의 도메인 일반화는 추가 검증이 필요하다. 제시한 이론적 상한은 스코어 함수 노름과 잔차 분산을 상수로 가정하는 단순화에 의존하므로 실제 대규모·비정형 보상 구조에서는 경계가 완화될 수 있다. 또한 Parallel-RL의 병합 품질은 병합 함수 ℳ와 희소화 전략에 민감하므로 대규모 실무 적용 전 병합 안정성·교착 문제에 관한 추가 연구가 필요하다.

실무 활용

모듈 단위로 태스크별 RL을 병렬 실행하고 그 결과 ΔW들을 병합해 최종 모델을 구성하는 접근은 다중태스크 환경에서 계산 자원을 효율적으로 사용하면서 태스크 특화 성능을 보존하거나 향상시킬 수 있다. 특히 태스크 간 상호간섭이 문제인 파이프라인에서 병렬화와 경량 병합은 개발 생산성을 개선하며, 병합 후 가벼운 적응 단계로 성능을 회복 또는 향상시킬 수 있다. 이 절차는 기존의 혼합데이터나 순차적 다단계 훈련 대안이 될 수 있다.

서로 다른 reasoning 태스크를 가진 서비스가 병렬로 개별 튜닝된 모델 업데이트를 통합해 하나의 공용 모델을 빠르게 배포할 때
대규모 태스크 포트폴리오에서 특정 태스크만 잦은 재학습이 필요한 경우 해당 태스크 업데이트만 병렬로 재학습해 빠르게 병합할 때
연구용 실험에서 태스크별 기여도를 분리해 ablation이나 모듈식 개선을 반복적으로 수행할 때
클라우드 비용 제약 하에 병렬로 소규모 RL 세션을 돌려 전체 성능을 유지하면서 자원 사용을 분산할 때

코드 공개 여부: 공개

코드 저장소 보기

키워드

SFTRLParallel-RLgradient interferenceadvantage functionon-policyLoRAGRPO

용어 해설

어드밴티지 함수(Advantage Function): — 행동별 보상과 그룹 평균 보상의 차이를 표준화한 값으로, GRPO 등에서 각 롤아웃 샘플의 기여도를 가중한다. 입력 x에 대해 r_k에서 평균 μ_r와 표준편차 σ_r를 빼고 나누어 계산하며, 합이 0이 되는 성질을 가진다. 이 필터링은 공통 평균 성분을 제거해 서로 다른 태스크 간 간섭을 줄이는 핵심 메커니즘으로 작용한다.
온폴리시 대 오프폴리시(On-policy vs Off-policy): — 온폴리시는 정책 π_θ로 생성한 샘플로 업데이트를 수행하는 방식이고 오프폴리시는 고정된 전문가 분포 π_expert를 목표로 학습하는 방식이다. 본문에서는 온폴리시(RL)가 같은 입력에 대해 생성되는 롤아웃 간 분산을 제한해 잔차 성분만 남기는 반면, 오프폴리시(SFT)는 외부 분포를 맞추느라 큰 밀집 업데이트를 유도한다고 분석한다. 이 차이가 다중태스크 간섭의 크기를 결정하는 핵심 요소로 작동한다.
그래디언트 간섭(Gradient Interference): — 서로 다른 태스크의 업데이트 벡터 ΔW_i와 ΔW_j 사이의 내적 또는 코사인 유사도로 정의되는 값으로, 학습 한 태스크가 다른 태스크 성능에 미치는 방해 정도를 정량화한다. 논문은 SFT의 간섭을 L2 노름(M_i·M_j)에 의해 상한되는 'norm-limited'로 모델링하고, RL의 간섭은 롤아웃 분산(V_i·V_j)으로 상한되는 'variance-limited'로 구분한다. 이 구분은 왜 다단계 SFT에서 성능 붕괴가 발생하는지를 수학적으로 연결해 준다.
RL’s Razor (암묵적 KL 제약)(RL’s Razor): — 온폴리시 정책그라디언트가 KL 관점에서 초기 정책에 가까운 최적 정책을 선택하도록 암묵적으로 편향된다는 최근 이론적 결과의 호칭이다. 이 정리는 이진 보상 환경에서 정보투영(I-projection)과 모멘트투영(M-projection)의 번갈아 수행으로 업데이트가 해석될 수 있음을 보이며, 결과적으로 파라미터 편차가 작아져 희소하고 작은 업데이트가 유도된다고 연결된다. 본문에서는 이 성질을 RL 업데이트의 '작고 희소한' 특성의 이론적 근거로 사용한다.
LoRA: — 저위수(rank) 행렬 분해로 전체 가중치를 고정한 채 분해 행렬만 학습하는 기법으로, 본 실험에서 RL과 SFT 양쪽에 효율적 파인튜닝을 위해 적용되었다. LoRA는 파라미터 업데이트를 저차원 서브스페이스로 제한하므로 업데이트 분석에서 희소성 및 크기 비교를 더 명확히 하는 데 도움이 된다. 논문 실험은 DeepSeek 기반 모델들에 LoRA를 사용해 ΔW 분석과 병합 실험을 수행했다.