강화학습 기반 점진적 에이전트 스킬 생성

스킬은 에이전트 행동을 구조화해 복잡한 작업에서 재사용 가능한 절차 지식을 제공하므로 자동 생성 방법은 실무적 가치가 큽니다. Skill-α는 스킬 작성을 편집 단위로 분해하고 롤백 보상으로 편집의 기여를 실행 결과와 직접 연결하므로 스킬의 유효성을 행동 변화 관점에서 학습합니다. 이 접근은 문서·실행 증거 양쪽에 동일한 학습 프레임워크를 적용해 실험에서 CL-Bench에서는 평균 +3.3, tau2-bench에서는 평균 +6.7 포인트의 downstream 성공률 개선을 달성했습니다.

스킬의 가치는 텍스트적 유창성 자체가 아니라 스킬이 고정된 워커의 행동 분포를 얼마나 고품질 행동에 가깝게 이동시키느냐로 결정됩니다. 이를 위해 스킬 생성 과정을 한 번에 출력하는 대신 증거를 순차적으로 읽으며 Create/Update/Merge/Prune/Noop 같은 국소 편집을 적용하고, 각 편집의 효과를 동일 앵커드 쿼리에서 편집 전후의 실행 결과로 비교해 보상으로 환원합니다. 이러한 입력→편집→평가의 파이프라인은 편집 수준의 보상 신호를 확보해 학습 기반 생성이 다양한 증거 소스에 일반화되도록 합니다.

훈련 파이프라인은 크게 SFT 워밍업과 GRPO 기반 RL 최적화로 나뉩니다. 정책은 instruction-tuned Qwen3-8B로 초기화해 추론 흔적과 구조화된 편집 출력을 학습한 뒤, 각 로컬 편집 상태(z_{t-1}, x_t, q_t^{anc}, V_t)에 대해 그룹 크기 G=8로 후보 편집을 샘플링합니다. 각 후보 편집으로 생성된 편집 스킬을 동일 앵커드 쿼리에서 고정 워커(GPT-4o)로 실행해 검증 점수를 얻고 Eq.5에 따라 롤백 보상을 부여한 뒤 GRPO 목적(클립, KL 정규화 항 포함)에 따라 정책을 업데이트합니다.

문서-스킬 설정인 CL-Bench에서 GPT-4o 워커 기준으로 Skill-α는 주요 비교군 대비 평균 성능을 향상시키며 Procedural Task Execution에서 특히 큰 개선을 보였습니다. 실행-스킬 설정(SpreadsheetBench, tau2-bench)에서는 GPT-4o 기준으로 모든 주요 지표에서 최상위 성능을 기록했고 Claude-Sonnet-4.5로의 전이에서도 우수한 평균 성능을 유지했습니다. 아블레이션에서 롤백 보상 제거와 Merge/Prune 제거가 성능 하락을 유발해 핵심 구성요소의 중요성이 실험적으로 입증되었습니다.

정책은 Qwen3-8B로 초기화하고 SFT로 워밍업한 뒤 GRPO로 최적화합니다. SFT 설정은 8 GPU, batch size 32, max seq len 32,768, learning rate 5×10^{-6}, weight decay 0.01, warmup 0.05, 3 epochs입니다. GRPO는 그룹 크기 G=8, actor lr 5×10^{-7}, entropy coef 0.001, prompt/response/total 길이 제한(8,192/32,768/40,960) 등을 사용하며 워커는 GPT-4o, CL-Bench 판정에는 GPT-5.5 루브릭을 사용해 앵커드 평가를 수행합니다.

현재 롤백 보상은 벤치마크별 검증기나 환경 피드백에 강하게 의존하므로 범용적인 단일 검증 인터페이스로 곧바로 확장하기 어렵습니다. 스킬 표현이 텍스트 기반으로 고정되어 있어 멀티모달 작업이나 구조화된 액션 스페이스로의 직접 적용은 추가 설계가 필요합니다. 또한 롤백 평가는 단기 앵커드 쿼리에 기반하므로 장기적·복합적 의존성을 포착하는 장기 보상 신호 확장은 후속 연구 과제로 남아 있습니다.