시각적 지속 학습에서 재앙적 망각을 극복하기 위한 Reinforcement Fine-Tuning

RFT는 SFT보다 망각에 강하나 여전히 시각적 지속 학습의 도전인 CIL/DIL에서 망각이 발생한다. RaPO는 trajectory-level drift를 보상 신호로 활용하고 Cross-Task 보상 정규화를 도입하여 태스크 간 이동에도 지식을 안정적으로 보존한다.

기존 GRPO의 보상 중심 학습은 같은 보상이라도 드리프트 크기가 큰 롤아웃에 대해 서로 다른 정책 업데이트를 유도한다. RaPO는 드리프트를 Dense한 보상 신호로 바꿔, 낮은 drift를 가진 롤아웃에 더 큰 가치를 부여하고, CTAN으로 task 경계의 보상 규모를 안정시켜 학습의 안정성과 지식 보존을 동시에 달성한다.

개요: 연속 태스크 T1~TN에서 각 Taskt를 만났을 때, 예전 Task의 데이터에 접근 없이 학습한다. 앵커 정책 πt−1과 현재 정책 πt를 두고, 그룹 내 롤아웃에 대해 Rtask와 Rret를 합친 Rtotal을 얻은 뒤, group-relative advantage Ai를 계산한다. 유지와 적응의 trade-off를 제어하기 위해 CTAN으로 σ̂을 업데이트하고, 이를 이용해 Ai를 정규화한다. Retention Reward D̄drift(yi)를 exp(−α D̄drift(yi))로 매핑해 Rret를 얻고, Rtotal = Rtask + λ Rret로 업데이트한다. 또한 CTAN은 Task 경계에서의 보상 분포 변화를 완만하게 만들어 학습 안정성을 높인다.

실험은 ImageNet-R, ImageNet-A, TinyImageNet, CUB-200에서 10/20 Task 설정으로 수행되었다. RaPO는 GRPO 대비 A에서 큰 향상을 보였고 F와 Ab, Fb 지표에서 망각을 크게 감소시켰다. 예를 들어 ImageNet-R 10 Tasks에서 RaPO의 A는 85.92%, F는 4.69%로 GRPO의 74.67%/20.02%에서 상승했고, COCO Object Detection에서 Ab는 19.31%, Fb는 1.39%로 GRPO의 14.64%/6.67% 대비 향상되었다. 또한 DIL/영상 분류/도메인 간 변환에서도 RaPO가 일관된 개선을 보였다.

RaPO의 Retention Reward는 Trajectory-level drift D̄drift를 기반으로 계산된다. yi 롤아웃의 s번째 토큰에 대한 log-prob 비율을 πt와 πt−1 사이에서 평균화하여 D̄drift(yi) = max( (1/mi) Σs [log πt(ys|x, y< s) − log πt−1(ys|x, y< s)], 0 ), 이 값을 α를 통해 지수적으로 매핑한 Rret(yi) = exp(−α D̄drift(yi))로 바꾼다. Rtotal(yi) = Rtask(yi) + λ Rret(yi)로 정의되며, Ai = (Rtotal(yi) − µgroup)/ (σ̂ + ϵ)로 group-relative advantage를 계산한다. CTAN은 σ̂를 업데이트하는 EMA와 함께 태스크 경계에서의 보상 스케일 변화를 완만하게 만들어 학습의 안정성을 강화한다.