에이전트 스킬을 위한 재귀적 자기 개선 루프, Skill RSI 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트 스킬의 성능을 반복적으로 평가하고 어블레이션 실험을 통해 자동으로 개선하는 재귀적 루프 시스템인 Skill RSI를 개발하여 공유했다.

사용자가 에이전트 스킬의 성능을 반복적으로 평가하고 개선하는 루프 시스템인 'Skill RSI'를 개발하여 커뮤니티에 공유했다.

Skill RSI는 에이전트 스킬을 반복적으로 평가하고 개선하는 자동화 루프 시스템이다. 시스템은 후보 스킬 버전을 생성하고, 어블레이션 스타일의 실험을 통해 성능을 비교하며, 가장 우수한 버전을 챔피언으로 선정하여 점진적으로 성능을 최적화한다.

Codex 플러그인으로 통합되어 UX 환경에서 직접 스킬 개선을 요청할 수 있다. 사용자가 스킬 파일을 제공하고 'improve this skill' 명령을 내리면, 로컬 앱이 빌드 및 설정되어 즉시 개선 프로세스가 시작된다.

현재 OpenAI 모델만 지원하며, 커뮤니티에 Claude 등 타 모델 지원을 위한 기여를 요청하고 있다. 시스템은 스킬의 변경 사항을 추적하고 검증 가능한 증거를 유지하여 실험의 재현성을 보장한다.

Ablation Study: — 모델의 특정 구성 요소를 제거하거나 변경하여 성능에 미치는 기여도를 분석하는 실험 방법론이다. 본문에서는 스킬의 성능을 체계적으로 검증하기 위해 사용된다.
Recursive Self-Improvement: — 시스템이 스스로를 평가하고 수정하여 성능을 점진적으로 향상시키는 루프 구조이다. 에이전트 스킬을 자동으로 최적화하는 핵심 메커니즘으로 활용된다.
Evals: — AI 모델이나 에이전트의 성능을 정량적으로 측정하는 테스트 과정이다. 스킬 버전 간의 우열을 가리는 기준으로 사용된다.