SkillCoach: 에이전트의 스킬 사용을 평가하고 향상시키기 위한 자기진화형 루브릭. 이 연구는 스킬 선택, 스킬 따르기, 스킬 구성, 스킬 기반 반성의 네 가지 메타 능력을 명확히 정의한다. 루브릭 진화는 검증기 결과와 분리된 프로세스 신호를 생성하여 평가 품질과 학습 데이터 선택을 개선한다.

대규모 기업형 스킬 라이브러리 환경에서는 금고 스킬이 존재해도 에이전트가 올바르게 선택·실행·구성·검증하지 못하면 결과가 재사용 가능하지 않다. SkillCoach는 최종 검증기 통과만으로 숨겨지는 실패 모드를 드러내는 프로세스 수준의 신호를 제공해 실무적 진단 및 학습 데이터 선별에 활용된다. 이로 인해 단순한 outcome-only 필터링보다 SFT 성능 향상에 더 강한 감독 신호가 확보된다.

왜 중요한가

핵심 기여

에이전트 스킬 사용의 메타능력 정형화

논문은 에이전트의 스킬 사용을 스킬 선택, 스킬 따르기, 스킬 구성, 스킬 기반 반성의 네 가지 분리 가능한 차원으로 정의한다. 이 정의는 최종 결과와 분리된 프로세스 품질을 명시적으로 측정할 수 있는 근거를 마련한다. 각 차원은 관찰 가능한 이벤트 증거에 기반한 점수화 규칙으로 구현되어 평가와 데이터 필터링에 직접 사용된다.

자기진화형 루브릭 프레임워크 도입

SkillCoach는 초기 루브릭을 롤아웃으로 보정하고 증거 추출 기반 판정기(Judge)와 지역 패치 제안기(Arbitration)를 통해 루브릭을 반복적으로 개선한다. 제안된 패치는 검증 분할(held-out validation)에서 하드·소프트 게이트를 통과해야만 수용된다. 이 절차는 허위 요구나 파괴적 변경을 차단하면서 루브릭의 유효 범위를 확장하는 메커니즘을 제공한다.

루브릭 기반 필터링이 outcome-only 대비 학습 향상에 기여함을 입증

루브릭으로 필터링한 시연을 사용한 SFT는 outcome-only SFT보다 최종 정확도에서 유의한 개선을 보였다. 초기 루브릭 대비 자기진화된 루브릭을 사용하면 더 많은 금(gold) 핵심 단계가 커버되고 인간-골드 필터 일관성이 향상되었다. Ablation 실험은 키스텝 따르기와 구성 순서가 필터링 효과에 핵심적임을 드러냈다.

핵심 아이디어 이해하기

출발점과 기존 한계에 관한 직관은 다음과 같다. 에이전트가 기업형 스킬 라이브러리에서 작동할 때 핵심 문제는 스킬의 존재 자체보다 적절한 스킬을 식별하고 해당 스킬의 절차를 증거에 기반해 충실히 수행하는 능력이다. 기존 평가는 최종 검증기 통과 여부에 치중하므로 잘못된 스킬 선택이나 단계 누락, 임시적 회복으로 인한 우연한 통과를 구별하지 못했다.

이 논문의 해결 원리는 프로세스 수준의 분해와 루브릭 진화이다. 각 작업에 대해 금 스킬과 잠재적 혼란 스킬을 포함한 환경에서 실제 롤아웃을 수집하고, 관찰 가능한 이벤트(문서 읽기, 스킬 호출, 스크립트 실행, 아티팩트 생성)를 증거로 추출한다. 초기 루브릭은 키스텝과 증거 요건, 음성 사례를 정의하고, 판정기와 중재기를 통해 로컬 패치를 제안·검증하면서 루브릭을 단계적으로 개선한다.

달라지는 점은 평가 신호와 학습 신호의 분리 및 개선된 데이터 선택이다. 진화된 루브릭은 인간-골드 키포인트 커버리지를 증가시키고 허위 규칙을 줄이며 검증기 통과만으로는 보이지 않던 재사용 불가능한 행동을 드러낸다. 이로 인해 룰 기반 필터링을 통해 슈퍼바이즈드 시연을 선택하면 outcome-only 기반 학습보다 SFT 성능이 더 크게 향상된다는 실험 결과가 나타났다.

방법론

전체 접근 방식은 세 단계로 작동한다: 롤아웃 수집, 판정(Judge)을 통한 증거 기반 점수화, 그리고 검증 게이트를 거친 지역 패치 수용이다. 각 작업 τ_t는 작업 지시문, 실행 가능한 환경, 외부 검증기, 금 스킬 집합과 혼란 스킬 집합을 포함하며 에이전트는 이 환경에서 상호작용 궤적 z_t를 생성한다. ExtractEvidence 연산은 문서 읽기, 스킬 호출, 툴 호출, 파일 편집, 스크립트 실행 및 생성된 아티팩트를 추출하여 판정기의 입력으로 제공한다.

판정기는 네 가지 차원별 점수 규칙을 적용한다. 스킬 선택 점수는 선택된 스킬 집합과 금 스킬 집합의 집합 수준 F1 공식을 사용하며 혼란 스킬 선택을 벌점으로 처리한다. 스텝 따르기 점수는 키스텝 집합 K_t의 각 단계에 대해 증거 기반 완수도(c_k ∈ {0,0.5,1})와 증거 가중치 m_k를 곱해 가중 평균을 계산한다.

중재 단계에서는 로컬 패치 A_ψ가 R^{j}에 병합된 후보 루브릭을 제안하고 보정 롤아웃과 검증 롤아웃으로 분할하여 하드 게이트 Δ_H와 소프트 목적 Δ_Q를 산출한다. 하드 게이트는 구조적 위반이나 파괴적 변경을 차단하고 소프트 목적은 증거 커버리지, 증거 품질, 프로세스-검증기 일관성, 루브릭의 간결성을 기준으로 개선 여부를 측정한다. 수락 기준을 만족하면 R^{j+1}으로 업데이트하며 최종적으로 검증 성능이 가장 높은 R^{best}를 선택한다.

주요 결과

루브릭 자체의 품질 검증에서 자기진화는 유의미한 개선을 가져왔다. 인간-골드 기준에서 gold-keypoint coverage는 71.56%에서 83.70%로 증가했고 usability score는 81.53에서 94.33으로 상승했으며 hallucination rate는 2.00%에서 0.00%로 감소했다. 이 검증은 루브릭이 단순히 검증기 성과를 모사하는 것이 아니라 프로세스 수준 평가의 정확성과 실용성을 높였음을 시사한다.

에이전트 성능 실험에서는 금 스킬이 추가될 때 최종 정확도가 크게 향상되었지만 혼란 스킬이 섞이면 스킬 선택 성능이 떨어졌다. 예컨대 여러 상용급 모델이 금 스킬 환경에서 높은 following 점수를 유지하면서도 selection 점수는 혼란 추가 시 크게 하락해 선택 단계가 병목임이 확인되었다. Rubric-filtered SFT는 outcome-only SFT보다 우수하여 Qwen3.5-4B의 경우 기본 8.0%에서 진화된 루브릭 필터링으로 24.0%로 향상되는 등 필터링이 학습에 기여함이 나타났다.

대규모 라이브러리 스트레스 테스트에서는 선택 성능의 저하(degradation)와 완전 붕괴(collapse)가 분리되어 발생했다. 모델별로 저하 경계는 수십에서 수백 개 혼란 스킬 지점에서 시작했고 붕괴는 수천에서 수만 규모에서 관찰되었다. 또한 혼란 스킬의 의미적 유사성이 숫자보다 더 큰 영향을 미쳐 고유한 근접 이웃 스킬이 가장 위험한 실패 원인임이 드러났다.

기술 상세

전체 아키텍처는 롤아웃 수집기, 증거 추출 모듈, 판정 모델 J_φ, 중재기 A_ψ, 검증 게이트 및 최종 루브릭 저장소로 구성된다. 판정은 관찰 가능한 이벤트 스트림 E(z)에서 스킬 읽기, 호출, 파일·스크립트 변경, 검증 시도 등을 추출해 각 메타능력의 규칙 기반 점수를 계산한다. 각 규칙은 고유 식별자를 갖고 지역 패치로 추가·수정될 수 있으며 패치는 검증 세트에서 비교 평가된다.

수학적 점수 정의는 집합 기반 F1 계열과 가중 합으로 구성된다. 스킬 선택 s_sel은 선택된 스킬 집합과 금 스킬 집합의 교집합을 기반으로 한 정규화된 F1 형태를 사용하고 스텝 따르기 s_fol은 각 키스텝의 가중치 w_k와 관찰된 완수도 c_k, 증거 유무 m_k를 곱한 가중 평균으로 계산된다. 구성 점수 s_comp는 (u,v) 의존 쌍에 대해 순서 및 아티팩트 전달의 성공도를 q_uv로 측정해 가중 평균을 계산하며 반성 점수 s_ref는 기대 검증 목록 H_t에 대한 개별 체크 r_c의 가중 평균으로 산출된다.

루브릭 진화의 수용 기준은 하드 게이트 Δ_H와 소프트 목적 Δ_Q의 복합 조건으로 명시된다. 하드 게이트는 구조적 모순, 허위 요구 추가, 검증기 우회 같은 파괴적 변경을 탐지하고 소프트 목적은 증거 커버리지 및 판정-검증기 일관성 개선을 측정해 임계치 이상일 때만 패치를 수용한다. 최종 선택은 검증 세트 기준 Q(R,U_t)를 최대화하는 R^{best}를 취한다.

한계점

실험은 선별된 스킬 의존 작업 집합과 공개 가능한 규모의 스킬 풀을 사용해 수행되었으므로 실제 생산 환경에서 지속적으로 확장되는 대규모 리포지토리와 완전히 동일하지 않다. 논문은 오프라인 SFT 중심의 학습 연구를 보고하며 온-폴리시 강화학습이나 장기 배포 피드백 루프에 대한 검증은 포함하지 않는다. 검증 게이트와 루브릭 패치 절차는 운영 환경에서의 자동화된 악용 방지와 장기적 유지비용을 추가로 고려해야 한다.

실무 활용

SkillCoach의 진화된 루브릭은 기업형 스킬 라이브러리에서 프로세스 품질을 분명히 측정하는 실무적 도구로 활용 가능하다. 검증기를 통과한 궤적 중에서도 재사용 가능한 절차 시연만을 선별해 SFT 데이터 파이프라인에 투입할 수 있으며, 이로 인해 정책이나 모델의 스킬 사용 신뢰성이 개선된다. 다만 공개 버전에서는 온-폴리시 RL 실험이나 장기 배포 피드백이 포함되지 않아 추가 엔지니어링이 필요하다.

엔터프라이즈 자동화 파이프라인에서 금 스킬과 유사한 혼란 스킬이 공존할 때 에이전트의 스킬 선택 실패를 진단하고 고품질 시연을 선별하는 데이터 필터로 사용한다.
스킬 라이브러리 확장 시 루브릭 진화를 통해 새로운 키스텝이나 주문 의존성을 자동 검증해 현행화된 평가 기준을 유지한다.
오프라인 SFT 파이프라인에서 검증기 통과와 프로세스 기준을 동시에 만족하는 궤적만을 학습 데이터로 채택해 재사용성 높은 동작을 교육한다.
검증 게이트 기반의 루브릭 패치 제안은 운영 중 발견된 결함을 국지적으로 보완하는 절차를 지원한다.

코드 공개 여부: 비공개

키워드

skill-use(스킬 사용 메타능력)process-rubric(프로세스 루브릭)skill-selection(스킬 선택)distractor-skill(혼란 스킬)self-evolving-rubric(자기진화형 루브릭)trajectory-evaluation(궤적 수준 평가)

용어 해설

스킬 사용 메타능력(Skill-Use): — 에이전트가 주어진 스킬 라이브러리에서 적절한 스킬을 선택하고 스킬의 절차를 충실히 수행하며 여러 스킬을 올바르게 구성하고 결과를 검증하는 궤적 수준의 능력으로, 본문에서는 선택·따르기·구성·반성의 네 가지 차원으로 구체화되어 평가와 학습 신호로 활용된다.
프로세스 기반 루브릭(Process Rubric): — 실행 궤적에서 관찰 가능한 증거에 기반해 스킬 선택, 단계 완수, 순서 의존성, 검증 절차 등을 항목화한 채점 규칙으로, 외부 검증기 결과와 분리된 프로세스 품질 신호를 제공하여 실패 모드를 진단하고 학습 데이터를 필터링하는 데 사용된다.
혼란 유발 스킬(Distractor Skill): — 금고 스킬과 문서 구조나 트리거 문구가 유사하지만 현재 작업에는 적용되지 않는 스킬로, 대규모 공유 라이브러리에서 에이전트의 잘못된 스킬 선택을 유발해 스킬 사용 신뢰성을 저해하는 주된 원인으로 분석되었다.
검증 게이트형 진화(Validation-Gated Evolution): — 루브릭 패치를 제안한 뒤 별도의 검증 세트에서 하드·소프트 기준을 적용해 개선 효과를 검증한 후에만 루브릭을 수용하는 절차로, 과도한 규칙 추가나 허위 요구를 방지하고 루브릭의 실효성을 유지하는 메커니즘이다.
궤적 수준 평가(Trajectory Evaluation): — 최종 산출물의 정답 여부가 아니라 에이전트의 상호작용 기록(파일 읽기, 스킬 호출, 스크립트 실행 등)을 증거로 하여 선택·따르기·구성·반성의 각 차원을 점수화하는 평가 방식으로, 재사용 가능한 실행 패턴을 식별하는 목적을 가진다.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드