Skills-Coach: 학습이 필요 없는 GRPO를 통한 자기 진화형 기술 최적화 도구

LLM 기반 에이전트의 기술들이 파편화되어 성능이 일정하지 않은 문제를 해결하기 위해, 에이전트가 스스로 기술의 한계를 탐색하고 개선하는 자동화 프레임워크를 제안한다. 특히 추가적인 모델 학습 없이도 기존 기술의 프롬프트와 코드를 최적화하여 실무 적용성을 극대화했다.

기존의 LLM 에이전트는 사람이 작성한 고정된 기술(Skill)에 의존하며, 복잡한 예외 상황이나 경계 조건에서 성능이 급격히 저하되는 한계가 있다. 이는 기술의 설계 단계에서 모든 사용 사례를 고려하기 어렵기 때문에 발생하는 파편화 문제이다.

Skills-Coach는 이를 해결하기 위해 강화학습의 GRPO(Group Relative Policy Optimization) 개념을 '학습(Training)'이 아닌 '프롬프트 및 코드 정제' 단계에 적용한다. 먼저 LLM이 기존 기술 명세서를 분석하여 스스로 어려운 테스트 케이스를 생성하고, 여러 버전의 수정된 지침을 동시에 생성하여 상대적인 성능을 비교한다.

이 과정에서 LLM은 자신의 오류 로그를 분석하여 코드를 수정하거나 지침을 보강하며, 가장 높은 점수를 받은 버전을 다음 반복의 기준으로 삼는다. 결과적으로 인간의 개입 없이도 기술의 실행 성공률(Pass Rate)을 33.59%에서 88.02%로 대폭 끌어올리는 성과를 거두었다.

Skills-Coach는 네 가지 핵심 모듈로 구성된 파이프라인을 따른다. 첫째, Diverse Task Generation Module은 기술 명세서를 파싱하여 표준, 고급, 경계 조건의 3단계 난이도로 구성된 테스트 세트를 생성한다. 이때 정규 표현식과 구조적 파싱을 통해 기술의 입력값 범위와 제약 사항을 식별한다.

둘째, Lightweight Optimization Module은 Training-Free GRPO를 사용하여 지침과 코드를 최적화한다. [현재 기술 버전 → 다수의 변형 생성 → 테스트 세트 평가 → 상대적 보상 계산 → 최우수 변형 선택]의 과정을 거친다. 코드 최적화의 경우 규칙 기반 최적화, LLM 기반 명령 최적화, 자동 수정(Auto-fixer)의 3단계 메커니즘을 순차적으로 적용한다.

셋째, Comparative Execution Module은 격리된 환경에서 원본과 최적화된 기술을 동일한 작업에 대해 실행한다. 넷째, Traceable Evaluation Module은 8개 차원, 51개 세부 지표를 바탕으로 실행 결과물과 로그를 분석하여 최종 성능을 정량화한다.

Skill-X 벤치마크 평가 결과, 전체 기술의 평균 점수는 0.378에서 0.84로 약 127% 향상되었으며, 통과율(Pass Rate)은 33.59%에서 88.02%로 54.43%p 증가했다.

특히 코드 포함 기술(Code-inclusive skills)에서 통과율이 26.97%에서 82.89%로 가장 큰 폭의 개선을 보였으며, 이는 복잡한 논리적 추론이 필요한 작업에서 Skills-Coach의 최적화 능력이 탁월함을 입증한다.

난이도별 분석에서도 표준 작업뿐만 아니라 고급 작업(Advanced Task)의 점수가 32.71%에서 81.61%로 크게 상승하여, 기술의 일반화 성능과 견고함이 동시에 확보되었음을 확인했다.

Skills-Coach의 아키텍처는 에이전트의 자기 성찰(Introspection) 능력을 극대화하도록 설계되었다. 최적화 엔진인 Training-Free GRPO는 파라미터 업데이트 대신 컨텍스트 내 학습(In-context Learning)과 반복적 정제를 활용하여 연산 비용을 획기적으로 줄인다. 기존의 그래디언트 기반 최적화가 수 시간 소요되던 것과 달리, 본 프레임워크는 수 분 내에 최적화 결과를 도출한다.

구현 측면에서는 가상 모드(Virtual Mode)를 통해 실제 환경 구축 없이도 키워드 매칭과 결정론적 난수 생성을 결합하여 기술의 완성도를 추정할 수 있게 했다. 이는 대규모 기술 라이브러리를 빠르게 스크리닝할 때 유용하다. 반면 리얼 모드(Real Mode)에서는 샌드박스 환경에서 실제 명령을 실행하고 출력 파일의 존재 여부와 형식을 엄격히 검증하여 신뢰성을 보장한다.

본 논문은 최적화 과정에서 LLM의 성능에 의존하므로, 기반 모델의 추론 능력이 낮을 경우 최적화 효율이 저하될 수 있음을 시사한다. 또한 현재는 단일 기술의 최적화에 집중하고 있어, 여러 기술이 복합적으로 상호작용하는 멀티 에이전트 시나리오에서의 충돌 방지 메커니즘은 향후 과제로 남아있다.