SkillCoach: 에이전트의 스킬 사용을 평가하고 향상시키기 위한 자기진화형 루브릭. 이 연구는 스킬 선택, 스킬 따르기, 스킬 구성, 스킬 기반 반성의 네 가지 메타 능력을 명확히 정의한다. 루브릭 진화는 검증기 결과와 분리된 프로세스 신호를 생성하여 평가 품질과 학습 데이터 선택을 개선한다.

대규모 기업형 스킬 라이브러리 환경에서는 금고 스킬이 존재해도 에이전트가 올바르게 선택·실행·구성·검증하지 못하면 결과가 재사용 가능하지 않다. SkillCoach는 최종 검증기 통과만으로 숨겨지는 실패 모드를 드러내는 프로세스 수준의 신호를 제공해 실무적 진단 및 학습 데이터 선별에 활용된다. 이로 인해 단순한 outcome-only 필터링보다 SFT 성능 향상에 더 강한 감독 신호가 확보된다.

출발점과 기존 한계에 관한 직관은 다음과 같다. 에이전트가 기업형 스킬 라이브러리에서 작동할 때 핵심 문제는 스킬의 존재 자체보다 적절한 스킬을 식별하고 해당 스킬의 절차를 증거에 기반해 충실히 수행하는 능력이다. 기존 평가는 최종 검증기 통과 여부에 치중하므로 잘못된 스킬 선택이나 단계 누락, 임시적 회복으로 인한 우연한 통과를 구별하지 못했다.

이 논문의 해결 원리는 프로세스 수준의 분해와 루브릭 진화이다. 각 작업에 대해 금 스킬과 잠재적 혼란 스킬을 포함한 환경에서 실제 롤아웃을 수집하고, 관찰 가능한 이벤트(문서 읽기, 스킬 호출, 스크립트 실행, 아티팩트 생성)를 증거로 추출한다. 초기 루브릭은 키스텝과 증거 요건, 음성 사례를 정의하고, 판정기와 중재기를 통해 로컬 패치를 제안·검증하면서 루브릭을 단계적으로 개선한다.

달라지는 점은 평가 신호와 학습 신호의 분리 및 개선된 데이터 선택이다. 진화된 루브릭은 인간-골드 키포인트 커버리지를 증가시키고 허위 규칙을 줄이며 검증기 통과만으로는 보이지 않던 재사용 불가능한 행동을 드러낸다. 이로 인해 룰 기반 필터링을 통해 슈퍼바이즈드 시연을 선택하면 outcome-only 기반 학습보다 SFT 성능이 더 크게 향상된다는 실험 결과가 나타났다.

전체 접근 방식은 세 단계로 작동한다: 롤아웃 수집, 판정(Judge)을 통한 증거 기반 점수화, 그리고 검증 게이트를 거친 지역 패치 수용이다. 각 작업 τ_t는 작업 지시문, 실행 가능한 환경, 외부 검증기, 금 스킬 집합과 혼란 스킬 집합을 포함하며 에이전트는 이 환경에서 상호작용 궤적 z_t를 생성한다. ExtractEvidence 연산은 문서 읽기, 스킬 호출, 툴 호출, 파일 편집, 스크립트 실행 및 생성된 아티팩트를 추출하여 판정기의 입력으로 제공한다.

판정기는 네 가지 차원별 점수 규칙을 적용한다. 스킬 선택 점수는 선택된 스킬 집합과 금 스킬 집합의 집합 수준 F1 공식을 사용하며 혼란 스킬 선택을 벌점으로 처리한다. 스텝 따르기 점수는 키스텝 집합 K_t의 각 단계에 대해 증거 기반 완수도(c_k ∈ {0,0.5,1})와 증거 가중치 m_k를 곱해 가중 평균을 계산한다.

중재 단계에서는 로컬 패치 A_ψ가 R^{j}에 병합된 후보 루브릭을 제안하고 보정 롤아웃과 검증 롤아웃으로 분할하여 하드 게이트 Δ_H와 소프트 목적 Δ_Q를 산출한다. 하드 게이트는 구조적 위반이나 파괴적 변경을 차단하고 소프트 목적은 증거 커버리지, 증거 품질, 프로세스-검증기 일관성, 루브릭의 간결성을 기준으로 개선 여부를 측정한다. 수락 기준을 만족하면 R^{j+1}으로 업데이트하며 최종적으로 검증 성능이 가장 높은 R^{best}를 선택한다.

루브릭 자체의 품질 검증에서 자기진화는 유의미한 개선을 가져왔다. 인간-골드 기준에서 gold-keypoint coverage는 71.56%에서 83.70%로 증가했고 usability score는 81.53에서 94.33으로 상승했으며 hallucination rate는 2.00%에서 0.00%로 감소했다. 이 검증은 루브릭이 단순히 검증기 성과를 모사하는 것이 아니라 프로세스 수준 평가의 정확성과 실용성을 높였음을 시사한다.

에이전트 성능 실험에서는 금 스킬이 추가될 때 최종 정확도가 크게 향상되었지만 혼란 스킬이 섞이면 스킬 선택 성능이 떨어졌다. 예컨대 여러 상용급 모델이 금 스킬 환경에서 높은 following 점수를 유지하면서도 selection 점수는 혼란 추가 시 크게 하락해 선택 단계가 병목임이 확인되었다. Rubric-filtered SFT는 outcome-only SFT보다 우수하여 Qwen3.5-4B의 경우 기본 8.0%에서 진화된 루브릭 필터링으로 24.0%로 향상되는 등 필터링이 학습에 기여함이 나타났다.

대규모 라이브러리 스트레스 테스트에서는 선택 성능의 저하(degradation)와 완전 붕괴(collapse)가 분리되어 발생했다. 모델별로 저하 경계는 수십에서 수백 개 혼란 스킬 지점에서 시작했고 붕괴는 수천에서 수만 규모에서 관찰되었다. 또한 혼란 스킬의 의미적 유사성이 숫자보다 더 큰 영향을 미쳐 고유한 근접 이웃 스킬이 가장 위험한 실패 원인임이 드러났다.

전체 아키텍처는 롤아웃 수집기, 증거 추출 모듈, 판정 모델 J_φ, 중재기 A_ψ, 검증 게이트 및 최종 루브릭 저장소로 구성된다. 판정은 관찰 가능한 이벤트 스트림 E(z)에서 스킬 읽기, 호출, 파일·스크립트 변경, 검증 시도 등을 추출해 각 메타능력의 규칙 기반 점수를 계산한다. 각 규칙은 고유 식별자를 갖고 지역 패치로 추가·수정될 수 있으며 패치는 검증 세트에서 비교 평가된다.

수학적 점수 정의는 집합 기반 F1 계열과 가중 합으로 구성된다. 스킬 선택 s_sel은 선택된 스킬 집합과 금 스킬 집합의 교집합을 기반으로 한 정규화된 F1 형태를 사용하고 스텝 따르기 s_fol은 각 키스텝의 가중치 w_k와 관찰된 완수도 c_k, 증거 유무 m_k를 곱한 가중 평균으로 계산된다. 구성 점수 s_comp는 (u,v) 의존 쌍에 대해 순서 및 아티팩트 전달의 성공도를 q_uv로 측정해 가중 평균을 계산하며 반성 점수 s_ref는 기대 검증 목록 H_t에 대한 개별 체크 r_c의 가중 평균으로 산출된다.

루브릭 진화의 수용 기준은 하드 게이트 Δ_H와 소프트 목적 Δ_Q의 복합 조건으로 명시된다. 하드 게이트는 구조적 모순, 허위 요구 추가, 검증기 우회 같은 파괴적 변경을 탐지하고 소프트 목적은 증거 커버리지 및 판정-검증기 일관성 개선을 측정해 임계치 이상일 때만 패치를 수용한다. 최종 선택은 검증 세트 기준 Q(R,U_t)를 최대화하는 R^{best}를 취한다.

실험은 선별된 스킬 의존 작업 집합과 공개 가능한 규모의 스킬 풀을 사용해 수행되었으므로 실제 생산 환경에서 지속적으로 확장되는 대규모 리포지토리와 완전히 동일하지 않다. 논문은 오프라인 SFT 중심의 학습 연구를 보고하며 온-폴리시 강화학습이나 장기 배포 피드백 루프에 대한 검증은 포함하지 않는다. 검증 게이트와 루브릭 패치 절차는 운영 환경에서의 자동화된 악용 방지와 장기적 유지비용을 추가로 고려해야 한다.