SkillNet: AI 스킬 생성, 평가 및 연결을 위한 개방형 인프라

기존 AI 에이전트는 매번 새로운 환경에서 해결책을 다시 찾는 바퀴의 재발명 문제를 겪고 있다. SkillNet은 파편화된 경험을 20만 개 이상의 구조화된 스킬로 자산화하여 에이전트가 과거의 지식을 체계적으로 재사용하고 성능을 극대화할 수 있게 돕는다.

단락 1: 현재 AI 에이전트는 주로 In-context Learning이나 특정 프롬프트에 의존하여 작업을 수행한다. 이는 마치 사람이 매번 새로운 매뉴얼을 읽고 잊어버리는 것과 같아서, 한 번 배운 기술을 다른 작업에 응용하거나 체계적으로 저장하는 지식의 축적이 어렵다는 한계가 있다.

단락 2: SkillNet은 이러한 파편화된 경험을 스킬(Skill)이라는 독립적인 실행 단위로 정의한다. 딥러닝의 Embedding 개념을 활용해 스킬 간의 유사도를 계산하고, LLM을 통해 스킬 간의 의존성(Dependency)과 구성(Composition) 관계를 추론하여 거대한 지식 그래프를 형성한다.

단락 3: 이를 통해 에이전트는 복잡한 작업이 주어졌을 때, 20만 개 이상의 스킬 네트워크에서 필요한 조각들을 검색하고 조합하여 최적의 실행 경로를 설계할 수 있다. 결과적으로 에이전트는 일회성 추론을 넘어 지속적으로 진화하는 숙련도를 갖추게 된다.

단락 1: SkillNet은 Skill Creation, Evaluation, Analysis의 세 가지 핵심 모듈로 구성된다. Creation 모듈은 실행 궤적(Trajectory), GitHub 프로젝트, 문서 등 이종 소스에서 실행 가능한 패턴을 추출하여 표준화된 SKILL.md 형식으로 구조화한다.

단락 2: Skill Ontology는 세 계층으로 나뉜다. 최상위 Taxonomy는 기능을 분류하고, 중간의 Relation Graph는 similar_to, compose_with 등의 관계를 모델링하며, 최하위 Package Library는 실제 배포 가능한 단위로 스킬을 묶는다.

단락 3: 평가 시스템은 GPT-4o-mini 기반의 자동 평가자와 샌드박스 실행 환경을 결합한다. MAE(Mean Absolute Error)를 통해 평가 신뢰도를 검증한다. [인간 평가자 점수와 모델 평가 점수의 차이 입력] → [차이값의 절대값을 모두 더해 샘플 수로 나눔] → [평균 오차값 산출] → [값이 0에 가까울수록 자동 평가자가 인간과 유사하게 판단함을 의미]

단락 1: ALFWorld, WebShop, ScienceWorld 등 3가지 텍스트 기반 시뮬레이션 환경에서 DeepSeek V3, Gemini 2.5 Pro, o4 Mini 모델을 대상으로 성능을 검증했다. SkillNet을 적용했을 때 모든 모델에서 성능 향상이 관찰됐다.

단락 2: 평균 보상(Average Reward)은 기존 ReAct 방식 대비 약 40% 향상되었으며, 작업을 완료하는 데 필요한 실행 단계(Execution Steps)는 약 30% 감소했다. 특히 학습 데이터에 포함되지 않은 Unseen 시나리오에서도 강력한 일반화 성능을 보였다.

단락 1: SkillNet은 스킬을 텍스트 의미론(Textual Semantics)과 상징적 결과(Symbolic Outcomes)를 통합한 통합 지식 표현으로 정의한다. 각 스킬은 메타데이터와 단계별 지침을 포함하는 SKILL.md 파일을 중심으로 관리된다.

단락 2: 관계 모델링에서는 similar_to(기능적 유사성), belong_to(계층 구조), compose_with(공동 호출 빈도), depend_on(선행 조건)의 4가지 관계를 정의하여 복잡한 워크플로 합성을 지원한다.

단락 3: 평가 지표 중 Safety는 프롬프트 인젝션 및 무단 파일 삭제와 같은 시스템 위험을 평가하며, Maintainability는 전역 의존성을 깨뜨리지 않고 로컬 업데이트가 가능한 모듈성을 측정한다.

스킬의 커버리지가 여전히 불완전하며, 특히 언어로 설명하기 어려운 암묵적 지식(Tacit abilities)을 포착하는 데 한계가 있다. 또한 악의적인 사용자가 주입한 독이 든(Poisoned) 스킬을 완벽하게 차단하는 데 어려움이 있을 수 있다.