gradient-interference
그래디언트 간섭
서로 다른 태스크의 업데이트 벡터 ΔW_i와 ΔW_j 사이의 내적 또는 코사인 유사도로 정의되는 값으로, 학습 한 태스크가 다른 태스크 성능에 미치는 방해 정도를 정량화한다. 논문은 SFT의 간섭을 L2 노름(M_i·M_j)에 의해 상한되는 'norm-limited'로 모델링하고, RL의 간섭은 롤아웃 분산(V_i·V_j)으로 상한되는 'variance-limited'로 구분한다. 이 구분은 왜 다단계 SFT에서 성능 붕괴가 발생하는지를 수학적으로 연결해 준다.
