에이전트 강화학습을 위한 Dynamic Skill Lifecycle Management: SLIM

외부 스킬은 파라메트릭 메모리 한계 하에서 유용한 특화 능력을 보완한다. 기존 접근은 스킬을 축적하거나 제거하는 방향으로만 흘러가며, 실제로는 활성 스킬 세트의 최적 경계가 task와 학습 단계에 따라 비단 monotone하지 않게 변화한다. SLIM은 활성 외부 스킬 세트를 학습의 동적 최적화 변수로 간주하고, leave-one-skill-out MEC를 통해 각 스킬의 외부 기여를 추정한 뒤 Retain/Retire/Expand를 교대로 적용하여, 파라메트릭 저장용량(Cθ) 아래에서 효율적으로 관리한다. ALFWorld와 SearchQA에서 평균 7.1% 포인트의 개선을 달성하며,Policy 학습과 외부 스킬 보유가 상호 배타적이지 않음을 보여준다.

출발점: LLM 에이전트는 외부 스킬로 성능을 확장할 수 있지만, 한정된 파라미터 메모리와 스킬 간 편차로 인해 모든 스킬을 무한정 축적하는 것은 비효율적이다. SLIM은 활성 외부 스킬 집합을 학습의 동적 경계로 삼아, Hierarchical Skill Retrieval으로 후보를 좁히고 MEC를 추정한 뒤 Retain/Retire/Expand 루프를 통해 스킬 구성을 업데이트한다. 이 방식은 스킬 중 일부를 정책에 흡수하고, 일부는 외부 모듈로 남겨두는 분업을 가능하게 하며, 결국 외부 스킬의 엔드포인트가 단순 축적이나 제로-스킬로 수렴하지 않도록 한다. 실험적으로 ALFWorld와 SearchQA에서 비모노토닉하게 변화하는 활성 스킬 경계가 확인되며, 최종 엔드포인트는 compact하고 여전히 일부 외부 스킬이 기여하는 상태를 유지한다.

1. Hierarchical Skill Retrieval: ex(임의의 작업 설명 임베딩)와 es(스킬 임베딩) 간 코사인 유사도로 TopK Ak_t 중 임베딩 임계치 τemb를 만족하는 task-specific 스킬 세트를 Qt(x)로 선택한다. 최종 정책은 A_gen_t와 Qt(x)의 합집합으로 구성한다. [입력: Task x] → [연산: 코사인 유사도 임계값 테크닉과 TopK] → [결과: 스킬 목록] → [의미: 현재 활성 스킬이 해당 작업에 충분히 관련되었는지 판단한다.

주요 벤치마크에서의 성능은 ALFWorld와 SearchQA에서 확인된다. ALFWorld에서 SLIM은 87.5%의 평균 성공률로 GRPO 및 SkillRL 대비 우수하며, SkillRL† 대비 12.5포인트 차이를 보인다. SearchQA에서 SLIM은 41.0%로 상위권이며, Skill0 대비 약 1.7포인트의 개선이다. Ablation에서 Retirement 제거 시 73.4%로 하락, Expansion 제거 시 78.9%로 하락, Random Audit 시 68.8%, Fixed Active Set Size 시 75.6%로 하향하는 등, 외부 MEC 기반의 lifecycle 의사결정의 중요성이 확인된다. 최종 엔드포인트는 21개의 스킬로 수렴하며, 초기 38의 확장과 달리 compact한 구성을 이룬다.

아키텍처: SLIM은 GRPO 기반 정책 최적화 루프(정책 업데이트)와 스킬 라이프사이클 관리 루프를 교대로 실행하는 Alternating Optimization Loop를 사용한다. 1) Hierarchical Skill Retrieval: Akt는 일반 스킬 풀과 task-type별 스킬 풀로 구성되며, Task x에 대해 Qt(x) = TopK_{s ∈ Ak_t} cos(ex, es) ≥ τemb를 만족하는 상위 K개를 선택한다. 2) Marginal External Contribution Estimation: Audited 스킬 s에 대해 MEC Δt(s) = Perf(Vt(s); At) − Perf(Vt(s); At { s })로 정의하고, EMA로 ∆¯t(s) 업데이트한다. 3) Dynamic Skill Lifecycle Management: GRPO 단계에서 정책 업데이트를 수행하고, 이후 Lifecycle 단계에서 Retain/Retire/Expand 규칙을 적용한다. Retain: ∆¯t(s) ≥ τkeep. Retire: ∆¯t(s) < τretire, ut(s) ≥ nmin, ℓt(s) ≥ p. Expand: Perf(Vt(s); At) < τexpand, Nt(s) ≥ nexpand, ∆¯t(s) < τkeep. 4) 이론적 보장은 Assumption A.4–A.5에 따라 확률적 보정과 단일 스킬 이동의 경계 조건으로 구성된다.

SLIM은 MEC의 로컬 추정에 의존하며, 상호작용하는 스킬 간의 고차원적 상관관계(Shapley 값과 같은 글로벌 기여도 추정)는 반영하지 않는다. Thresholds(τkeep, τretire, τexpand)와 audit budget는 도메인에 따라 튜닝이 필요하다. 대규모 스킬 은행에서 감사 비용 확장에 따라 계산 비용이 증가할 수 있다.