SkillHone: 영구적 의사결정 기록을 통한 에이전트 스킬 지속적 진화 프레임워크

지속적으로 유지되는 스킬은 단일 산출물만 보존할 때 발생하는 맥락 손실로 인해 시간이 지남에 따라 잘못된 수정을 반복할 위험이 있다. SkillHone은 각 수정의 진단 근거와 평가 증거를 구조화해 보관함으로써 이후 에이전트가 과거의 판단을 재활용하거나 중복 수정을 피할 수 있게 한다. 이 방식은 변화하는 웹 환경과 API 제약이 존재하는 실제 운영 환경에서 스킬의 유지 보수성과 회복력을 높이는 데 직접적인 영향을 미친다.

에이전트 스킬은 작업별 절차와 도구 사용 규약을 묶은 번들로, 스킬의 초기 생성 이후에도 환경 변화와 엣지케이스 대응을 위해 지속적 디버깅과 수정을 필요로 한다. 기존 아티팩트 중심 접근은 최종 버전만 전달하기 때문에 어떤 진단이 어떤 수정을 촉발했는지에 관한 근거가 사라진다. 이로 인해 후속 세션에서 동일한 문제를 재발견하거나 과거에 실패한 수정을 되풀이하는 비용이 발생한다. SkillHone는 각 개발 단계에서 진단(q), 제안된 수정(r), 비공개화된 평가 증거(e), 그리고 결과(o)를 하나의 결정 기록(ht)로 저장한다. 새 에이전트는 최신 스킬뿐 아니라 누적된 결정 기록 Ht를 조회해 이전 수정의 맥락을 재활용하거나 거부된 대안을 새 근거로 재검토할 수 있다. 이 메커니즘은 검색 환경의 변화나 API 제약이 발생했을 때도 불필요한 재수정을 줄이고 문제의 본질적 원인에 맞춘 국지적(revert/patch) 수정을 가능하게 한다. 역할 분리는 과대적합 위험과 데이터 누출을 줄이는 핵심 안전 장치로 작동한다. 평가 서브에이전트는 오라클과 실행 트레이스에 접근해 정확한 실패 원인을 파악하되, 최적화 측에는 검증 가능한 단서만 제공한다. 이러한 비공개화된 증거와 연결된 결정 기록은 최적화가 검증 데이터를 직접 암기하지 않으면서도 실패 모드에 맞춘 수정안을 제안하게 만든다.

전반적 접근은 두 개의 저장소와 역할 분리된 디스패치 팀으로 구성된다. 스킬 저장소는 SKILL.md와 스크립트, 참조 문서, 템플릿 등을 포함하는 스킬 번들을 보관하고 스킬-평가 저장소는 연습용 probe, 오라클 목표, 검증기, 실행 트레이스, 비공개화된 보고서를 보관한다. 디스패처는 각 반복에서 평가 디스패치를 실행해 공개 불가능한 증거로부터 비공개화된 보고서를 생성하고 이를 최적화 디스패치로 라우팅하며 수용 여부를 기록한다. 핵심 메커니즘은 결정 레코드 ht=(qt, rt, et, ot)의 누적이다. 평가 디스패치는 후보 스킬을 실행해 실패 모드를 노출시키고 그 결과를 비공개화해 반환한다. 최적화 디스패치는 기존의 결정 기록 H< t 를 조회해 관련된 과거 진단과 수정 제안을 찾아 중복 수정을 피하거나 거부된 패치를 새로운 증거로 재평가한다. 운영적 세부사항으로는 역할 경계에 따른 권한 제어와 반복적 dispatch 패턴이 있다. 평가 측은 오라클과 트레이스에 직접 접근해 상세 진단을 만들 수 있으나 스킬 저장소를 변경할 수 없고, 최적화 측은 스킬을 수정할 수 있으나 비공개화된 평가 자원에는 접근하지 못한다. 이 권한 분리는 practice feedback의 직접적 암기 위험을 낮추고 기록의 생성과 사용이 동일한 권한 경계 내에서 이루어지도록 보장한다.

주요 공개 벤치마크에서 SkillHone은 GAIA에서 64.6%와 WebWalkerQA-EN에서 66.4%의 평균 점수를 기록해 비교 대상 중 최고 성능을 달성했다. 동일한 raw open-web 조건에서 SkillHone은 Skill-Creator 대비 GAIA에서 +20.5pp, WebWalkerQA-EN에서 +28.3pp의 우위를 보였고 Hermes-SE 대비로도 GAIA에서 +14.2pp, WebWalkerQA-EN에서 +13.4pp를 기록했다. 이 결과는 스킬의 구성 요소를 단순히 제공하는 것만으로는 충분하지 않으며 조직화된 절차와 결정 기록이 핵심 이득이라는 점을 시사한다. 백본 전이 실험에서 SkillHone로 최적화된 스킬 번들은 추가 최적화 없이 Claude Sonnet 4.6에서 GAIA 72.4%를 달성해 성능 이득이 특정 실행 백본에 과적합된 것이 아님을 보여주었다. 제거 실험(ablation)에서 결정 기록을 제거하면 GAIA와 WebWalkerQA-EN 점수가 각각 13.4pp와 10.9pp 하락했고 역할 분리를 제거하면 각각 6.4pp와 5.3pp 하락해 결정 기록이 더 큰 기여를 함이 확인되었다. 내부 배포 연구에서는 일곱 개 반복 분석 시나리오에서 평균 +18.8pp 개선이 관찰되었고 특히 카운팅·집계·구조 파싱 등에서 큰 향상이 발생했다.

아키텍처는 세 가지 주요 컴포넌트로 구성된다: Optimization Agent Team, Evaluation Agent Team, 그리고 런타임 디스패처이다. Optimization 팀은 스킬 저장소를 수정하고 이전 결정 기록을 참조해 진단과 수정안을 생성하며 Evaluation 팀은 검증 자산에 기반해 후보 스킬을 실행하고 비공개화된 보고서를 생성한다. 디스패처는 메시지 라우터 역할을 하며 권한 경계를 유지한 채 증거와 리뷰 요청을 적절히 전달하고 수용 결정을 기록한다. 결정 기록의 형식은 ht=(q_t, r_t, e_t, o_t)로 정의되어 있으며 여기서 q_t는 진단, r_t는 수정안, e_t는 비공개화된 평가 증거, o_t는 결과(수용·수정 요구·거절·연기)이다. 각 반복에서 이 기록이 누적되어 H_t가 구성되며 최적화 측은 H_{<t}를 검색해 관련 과거 레코드를 재활용하거나 거부된 패치를 새 근거로 재검토한다. 이 과정은 데이터 누출 없이 검증 자산의 정보를 이용해 합리적 수정을 촉진한다. 실험 설정에서는 개발-시간 컨트롤러로 Claude Opus 4.6을 사용해 최적화 디스패치를 운영했고 실행 및 평가 백본으로 Qwen3.6-35B-A3B를 사용했다. raw open-web 조건은 사전 통합된 검색 스택을 제공하지 않고 공개 웹 접근과 포터블 스킬 번들만으로 정보 추출을 수행하게끔 구성되었다. Ablation 실험은 결정 기록 제거와 역할 통합 두 축을 각각 제외해 각 구성 요소의 기여도를 분리해 평가했다.

논문에서 명시한 주요 한계는 현재 접근이 단일 스킬을 고립적으로 진화시키는 데 초점을 맞추고 있다는 점이다. 상호 의존적이거나 공유 자원을 사용하는 다수의 스킬을 동시에 진화시키는 문제는 다루지 않아서 교차 스킬 간의 조정과 중첩된 실패 모드 처리가 남은 과제이다. 또한 외부 평가 자원과의 권한 경계가 운영 환경에서 항상 실현 가능한지는 추가적인 시스템 통합 검증이 필요하다.