Resource2Skill: 사람 제작 자원에서 실행 가능한 스킬을 추출해 소프트웨어 에이전트에 적용

사람이 도구 사용법을 배우는 주요 수단인 튜토리얼 영상에는 시간순 조작, 시각적 변화, 실행 관습 같은 절차적 신호가 포함되어 있어 텍스트만으로는 포착하기 어렵다. Resource2Skill은 이러한 멀티모달 자원을 구조화된 실행 가능한 스킬로 변환해 에이전트가 필요할 때 재사용 가능한 절차적 지식을 빠르게 조회하고 조합하도록 한다. 그 결과, 여러 상용 저작 도메인에서 스킬 접근이 없는 에이전트 대비 평균 11.9포인트의 품질 개선으로 실무적 효용을 확보했다.

에이전트가 복잡한 소프트웨어 저작 작업을 성공적으로 수행하려면 단순한 사실 기반 지식보다 절차적 노하우가 핵심이다. 절차적 노하우는 작업을 분해하는 방법, 어떤 도구 호출 패턴을 사용할지, 중간 상태를 점검하는 지점, 실패 시 회복 절차 같은 실행 지침을 포함하며 이러한 정보는 모델 가중치만으로 일관되게 얻기 어렵다. 따라서 사람 제작 자원에서 절차적 신호를 추출해 재사용 가능한 단위로 보존하는 것이 필요하다.

Resource2Skill은 네 단계 파이프라인(구성, 위키 조직, 선택, 실행)으로 작동하며 구성 연산자 fθ는 도메인별 자원 풀에서 후보를 검색해 핵심 프레임, 코드 영역, 설명문을 추출한다. 추출물은 (경로, 텍스트 뷰, 시각 뷰, 코드 뷰, 메타데이터) 스키마로 정규화되고 도메인별 판정기 A𝒟가 완전성·출처 추적·중복 제거·모달리티 일관성·코드 실행 가능성을 검증해 최종 스킬 풀 Σ𝒟에 편입한다. 실행 시에는 MetaBrowse가 먼저 BM25 기반으로 계층형 토폴로지에서 후보 집합을 좁히고 언어 모델 πφ가 후보의 텍스트·시각·코드를 읽어 조합할 스킬 집합을 선택하며 선택된 코드가 있을 경우 MCP를 통해 도메인 백엔드에서 직접 실행된다.

주요 비교에서 스킬 라이브러리를 가진 조건(w Skills)은 모든 28개의 모델-도메인 셀에서 스킬 없는 조건보다 우위였고 평균 전체 점수는 56.8% 대 45.0%로 11.9포인트의 향상이 관찰되었다. 소거 연구에서 동영상을 제외하면 평균 점수가 68.9%에서 59.4%로 크게 하락하여 영상 소스가 비대체적 기여를 했음이 확인되었다. 스킬 풀 규모를 늘릴 때 성능은 대체로 증가하며 200개 수준에서 포화에 가깝고, 오프라인 풀에 온라인 채집을 100개 추가했을 때 표준 벤치마크에서는 약 +0.7pp의 미미한 변화에 그쳤지만 신규 역량을 겨냥한 스트레스 테스트에서는 +21.6pp의 큰 개선이 관찰되었다.

아키텍처 관점에서 스킬 항목은 계층 경로 p, 텍스트 x_text, 시각 x_visual, 코드 x_code, 메타데이터 m으로 구성된 튜플 s=(p,x_text,x_visual,x_code,m)으로 형식화되며 도메인별 분류체계 𝒯𝒟가 스킬의 토폴로지를 규정한다. 구성 연산자 fθ는 도메인별 검색 질의로 자원을 수집하고 영상에서 키 프레임, 저장소에서 코드 영역과 시그니처, 문서에서 적용 문단을 추출해 시각-텍스트-코드 증거로 매핑한 뒤 정규화 루틴으로 일관된 필드에 채운다. 검증 판정기 A𝒟는 다섯 가지 검사(완전성, 출처 추적성, 중복 제거, 모달리티 일관성, 코드 실행 가능성)를 수행해 실행 가능한 스킬만 위키에 편입하도록 하며 이 검증은 각 도메인의 실행 규약과 테스트 벤치에 맞춰 구성된다.

논문은 오프라인에 충분히 대표적인 스킬이 축적되면 온라인 채집의 평균 기여가 작아진다고 보고해 범용성의 한계를 인정했다. 오프라인 풀이 부족한 영역에서는 온라인 증류가 큰 개선을 제공하지만 이 과정은 추가 검색 비용과 임시 후보 검증 부담을 수반한다. 또한 실험에서 성능 포화는 약 200개의 균형 잡힌 스킬 수준에서 관찰되어 매우 드문 케이스를 포괄하려면 더 큰 수집·검증 비용이 필요하다는 한계가 남았다.