SEIF: 지시 이행을 위한 Self-Evolving 강화학습

대형 언어 모델의 지시 이행 능력은 외부 감독 없이도 개선될 수 있지만, 기존 self-play 방식은 난이도가 고정되어 추가 발전에 한계가 있다. SEIF는 Instructor-Filter-Follower-Judger의 네 역할로 지시 분포를 모델 능력에 맞춰 지속적으로 진화시키며 open-ended 태스크에서도 보상 신호를 확보한다. 이를 통해 다양한 모델 규모에서 일관된 성능 향상을 보여주고, 데이터 효율성과 일반화 가능성을 제고한다.

단계 1: 지시를 Seed로 시작해 Instructor가 제약을 추가한 x를 생성한다. 이때 x가 Follower의 현재 능력을 넘어서는지 평가할 필요가 있다. 단계 2: Follower는 x에 대응하는 응답 y를 생성하고, Judger가 각 제약의 충족 여부를 점수화한다. 단계 3: Instructor는 GRPO 기반으로 보상을 최대화하도록 x를 개선하고, Follower는 해당 지시를 더 잘 따르게 학습한다. 이러한 상호 의존은 Instruction의 난이도 분포를 모델 능력 boundary에 맞춰 점진적으로 진화시키며, 데이터 품질은 Filter에 의해 유지된다. 초기 단계에서 충분한 학습 기반을 형성한 뒤, 후속 단계에서 중간 강도로 미세 조정하는 전략이 성능의 안정성과 최종 성능 향상에 기여한다.

1. Overview: seed z ∈ Dseed에서 Instructor Iψ가 x ∼ Iψ(·|z)로 진화시키고, Filter Q가 x의 충돌 여부를 판단한다. Qt(x)=1이면 Follower Fθt가 x에 대한 응답 y ∼ Fθt(·|x)를 생성하고, Judger Jt가 Aj(x,y)를 산출한다. 2) Instructor Optimization: RI(z,x)= [1 − At(x,y)] if Qt(x)=1, 0 if Qt(x)=0. 이때 Instructor는 Qt가 1인 상황에서 Follower의 현재 능력 경계에 가까운 지시를 찾도록 학습한다. 3) Follower Optimization: RF(x, yi)= AJ′t(x, yi). Follower는 x에 대해 다수의 응답 yi를 샘플링하고, J′t가 평가한 보상을 최대화하도록 학습한다. 4) Reinforcement Learning Optimization: GRPO objective JGRPO(ω) = E[ sum_i min(πω(oi|q)/πωold(oi|q), 1+ε) Ai − βDKL(πω∥πref) ]. Instructor와 Follower 모두 GRPO로 업데이트하며, 그룹 내 보상을 정규화한다. 패턴 예: 입력 z → x(제약 추가) → y(응답) → Aj(x,y) → RI·RF.

주요 벤치마크에서 SEIF의 성능 향상 확인. Qwen2.5-7B-Instruct Iter3에서 IFEval 78.6, CFBench 51.0, FollowBench 59.0으로 BASE 대비 상승. Distill-Qwen-14B Iter3은 IFEval 80.0(+5.1), CFBench 60.0(+5.0), FollowBench 62.1(+1.1), Avg 60.3으로 개선, 1.5B~14B 규모에서 일관된 개선 확인. 일반 벤치마크에서도 대체로 보존 또는 개선이 관찰되며, ablation 연구에서 Filter의 중요성, Const.-Level Reward의 필요성, 초기 고강도 학습의 효과가 확인된다.

아키텍처: Seed 지시 z에서 x를 생성하는 Instructor, x의 충돌/유효성 검사하는 Filter Qt, x에 대응하는 응답을 생성하는 Follower, 응답의 제약 충족도 Aj를 평가하는 Judger. 학습 알고리즘은 GRPO(Group Relative Policy Optimization)로, 그룹 내 샘플에 대해 Reward Ai를 표준화하여 정책을 업데이트한다. RI(z,x)=0( Qt(x)=0) 또는 1−At(x,y) (Qt(x)=1)로 Instructor 보상을 정의하고, RF(x, yi)=AJ′(x, yi)로 Follower 보상을 정의한다. Instructor 최적화는 Iψt→Iψt+1, Follower 최적화는 Fθt→Fθt+1로 순환한다. 보상은 Qt/Jt로 상시 갱신되며, 초기 단계의 데이터 분포 확립 후 중간 단계에서의 미세 조정이 최적화된다.

논문은 Open-ended 지시-following에서 Ground-truth가 부족한 상황을 다루나, 평가 신뢰도는 Judger의 주관성에 의존한다. 또한, 데이터 구성에서 seed instruction의 품질과 다양성에 따라 성능이 크게 좌우될 수 있으며, 장기적으로는 과적합 가능성과 분포 편향의 위험이 제시된다.