Repo-To-Skill: GitHub 저장소를 AI4AI Skill로 증류하기

왜 중요한가

자율 ML 연구 에이전트는 모델의 추론 능력과 Harness의 실행 절차만으로 낯선 Repository, API, 설정을 다룰 때 시행착오에 예산을 소모합니다. DisCo는 이 공백을 Operational Knowledge로 정의하고, 재사용 가능한 Skill을 실행 Context로 추가했습니다. GPT-5.5와 Codex, 동일한 실행 예산을 유지한 비교에서 MLE-bench 134.3%, PaperBench 34.4%, FrontierCS 9.2%, PassNet 14.0%의 상대 향상이 확인됐습니다.

핵심 기여

자율 연구 에이전트의 운영 지식 계층화

기존 구조의 LLM Backbone은 이해·추론·계획·실행을, Research Harness는 조율·Memory·Verification을 담당하지만 도메인별 사용법은 제공하지 않는다고 정리했습니다. 논문은 방법·도구·적용 조건·절차를 묶은 Operational Knowledge를 세 번째 계층으로 두어, 무엇을 고려할지와 어떻게 실행할지를 에이전트에 전달합니다.

DisCo의 양방향 Skill 증류

DisCo는 Source를 미리 처리하는 Task-agnostic 증류와 구체적 문제에서 필요한 자료를 찾는 Task-oriented 증류를 함께 사용합니다. 두 방식 모두 범위 설정, 근거 수집, Candidate Skill Graph 구성, Verification의 네 단계를 거치며 검사를 통과하지 못한 Skill은 등록하지 않고 남은 공백을 기록합니다.

AREX-Skill Library 구축

1,000개 ML Repository에서 5,353개의 검증된 Skill을 만들고 20개 영역과 178개 Capability Family로 분류했습니다. Library Router는 영역에서 Family, Repository Graph 순서로 요청을 좁히며 현재 작업에 필요한 Skill·Reference·Script만 Operating Context에 넣습니다.

네 벤치마크에서 통제된 성능 비교

GPT-5.5 Backbone, Codex Harness, Downstream 실행 예산을 고정하고 Skill 유무만 바꿨습니다. Skill을 추가한 조건은 MLE-bench Any-Medal 31.11%에서 72.89%, PaperBench 평균 29.45%에서 39.59%, FrontierCS 70.63에서 77.14, PassNet AS Score 1.343에서 1.5313으로 상승했습니다.

핵심 아이디어 이해하기

자율 연구 에이전트는 LLM Backbone이 문제를 이해하고 계획을 세우며, Harness가 실행·관찰·검증의 반복을 관리하는 구조입니다. 그러나 낯선 데이터셋이나 Package를 만나면 어떤 Method를 선택하고 API 입력을 어떻게 구성할지 즉시 알지 못해, 실패한 실행을 통해 규칙을 추론해야 합니다. 이 과정은 평가에 사용할 동일한 예산을 소모하고, 한 작업에서 얻은 지식도 다음 작업으로 자동 이전되지 않습니다.

논문은 이 문제를 Operational Knowledge의 부재로 정의합니다. 논문에 따르면 Method·Code·Model·API를 호출 가능한 Capability로 묶는 것만으로는 부족하고, 각 Capability에 적용 조건·선택 이유·실행 Procedure가 함께 있어야 합니다. DisCo는 이 지식을 Skill로 표현하며, Skill은 앞단의 SKILL.md, 필요할 때 읽는 references/, 실행 가능한 scripts/의 세 층으로 구성됩니다.

에이전트는 먼저 SKILL.md에서 목적과 사용 조건을 확인하고, 작업에 맞는 링크를 따라 API 세부사항이나 설정을 읽은 뒤 Script의 입력과 출력을 사용합니다. 따라서 전체 Repository를 Context에 넣는 대신 현재 필요한 경로만 로드합니다. 하나의 Source에서 나온 여러 Skill은 Skill Graph로 연결되어 Setup, Evaluation, Diagnosis, Repair 같은 절차와 의존성을 선택적으로 이어줍니다.

DisCo의 핵심은 Skill을 단순 요약으로 끝내지 않는 데 있습니다. Source 또는 Task를 Anchor로 삼아 필요한 Capability를 정하고, 근거 자료를 모은 뒤 Skill Graph를 구성하고, 테스트·CLI Check·Smoke Script·작은 Fixture 등을 통해 실행 가능성을 확인합니다. 이 절차가 반복되는 동안 에이전트는 매번 처음부터 API와 설정을 탐색하는 대신 검증된 운영 지식을 출발점으로 사용합니다.

방법론

연구 Task는 문제 q, 함께 주어진 Data와 Material D, 도구와 예산을 포함한 Environment E, 충족해야 할 Target g를 묶은 $τ = (q, D, E, g)$ 로 정의됩니다. q는 해결할 문제, D는 입력 자료, E는 실행 가능한 도구와 제한된 예산, g는 목표 조건입니다. 에이전트는 이 입력을 처리해 Code·Model·실험 결과·Report 등의 산출물 y를 만들고, 그 산출물이 g를 만족하는지 확인합니다. 예를 들어 Repository 사용법을 모르는 작업에서는 q와 D를 읽은 뒤 E가 허용한 도구로 실행하고, 결과가 g를 충족할 때까지 관찰과 수정을 반복합니다.

기존 에이전트는 LLM Backbone과 Harness로 구성되지만, DisCo는 여기에 운영 Context K를 추가합니다. K는 현재 보유한 Skill 집합이며, Harness가 계획·행동·관찰의 진행 방식을 결정하는 동안 K는 고려할 Method와 Tool, 적용 조건을 제공합니다. Capability만 있으면 선택 기준이 없고 Policy만 있으면 실행 가능한 인터페이스가 없으므로, Skill은 Scripts와 References로 Capability를 제공하고 SKILL.md로 Usage Policy를 제공합니다.

Skill 증류는 Anchor z에서 시작해 Scope, Ground, Construct, Verify 순서로 진행됩니다. Scope에서는 Source의 구조나 Task 요구를 바탕으로 필요한 Capability를 정하고, Ground에서는 Repository Source·Documentation·Example·Test·Configuration 또는 검색된 자료 중 근거가 되는 내용을 선별합니다. Construct에서는 근거를 SKILL.md·references/·scripts/로 배치해 Candidate Skill Graph를 만들고, Verify에서는 Assertion 기반 Case, Repository-native Example, Test, CLI Check, Tiny-fixture Check 또는 Smoke Script를 실행해 실패한 부분을 국소적으로 고칩니다.

Task-agnostic 방식은 Repository나 Paper를 Anchor로 삼아 여러 작업에서 재사용할 Skill을 미리 만듭니다. Task-oriented 방식은 구체적인 Task를 분해하고 Capability Gap을 찾은 뒤, 그 공백을 채울 Source를 검색해 Skill을 생성합니다. Creator Mode는 검증된 Graph를 Library에 저장하고, Researcher Mode는 Router를 통해 관련 Branch만 읽습니다. Creator 비용은 Source별로 한 번 지불하고 여러 Task에 재사용하며, Researcher는 현재 Task가 실제로 여는 내용만 처리합니다.

주요 결과

MLE-bench 전체 75개 Competition에서 GPT-5.5 Codex의 Any-Medal 평균은 Skill이 없을 때 31.11%였고 AREX-Skill을 추가하면 72.89%가 됐습니다. Low는 42.42%에서 86.36%, Medium은 31.58%에서 69.30%, High는 13.33%에서 62.22%로 올랐습니다. 전체 상대 향상은 134.3%였으며, High 난이도에서는 366.8%였습니다.

PaperBench 20개 논문 복제 Task의 평균 점수는 29.45%에서 39.59%로 10.14 percentage points, 상대 기준 34.4% 상승했습니다. 20개 중 18개에서 점수가 올랐고 2개에서는 하락했습니다. FrontierCS 188개 Task에서는 Score가 70.63에서 77.14로 상승했으며, 95% Bootstrap Confidence Interval은 평균 향상 기준 [3.41, 9.83] points였습니다. 50점 미만이던 47개 Task의 평균은 19.43에서 45.99로 올랐습니다.

FrontierCS에서 Skill-equipped 조건은 Task당 평균 4.47M Token을 사용했으며, Claude Code의 Claude Opus 4.8과 Qwen3.7 Max 조건은 각각 14.72M과 13.85M을 사용했습니다. Skill 조건은 더 적은 Token으로 더 높은 Score를 기록했고, 추가 Token·Step·Tool Call과 점수 향상의 Spearman 상관계수는 각각 0.006, 0.014, 0.015였습니다.

PassNet에서는 AS Score가 1.343에서 1.5313으로, G-Mean Speedup이 1.5891에서 1.6688로 상승했습니다. Correctness는 81.35%에서 90.76%로 올랐고 Failed Samples는 14개에서 5개로 64.3% 감소했습니다. Skill 조건의 AS Score 1.5313은 TorchInductor의 1.419보다 높았습니다.

기술 상세

AREX-Skill의 기본 단위 Skill은 $S = (SKILL.md, references/, scripts/)$ 로 구성됩니다. SKILL.md는 선행 로드되는 Knowledge Interface로 목적·핵심 개념·Tool 사용법·Pointer·Example·Failure Mode를 담습니다. references/는 API 문서·Algorithm 세부사항·Parameter Configuration을 필요할 때 제공하고, scripts/는 정의된 입력과 출력을 가진 실행 Wrapper로 반복 구현을 줄입니다. 입력은 Agent의 Task와 현재 단계이고, 처리 과정은 SKILL.md의 조건에 맞는 Reference와 Script를 선택하는 것이며, 출력은 실행 결과나 다음 절차입니다.

하나의 Source에서 나온 Skill은 Graph $G = (S, L)$ 로 묶입니다. S는 개별 Skill 집합이고 L은 Skill 사이의 Routing·Dependency·Composition Link입니다. Entry Skill이 Source 범위와 사용 목적을 알려주면 Agent는 Task에 필요한 링크만 따라갑니다. 예를 들어 Setup Skill의 출력이 Evaluation Skill의 입력이 되고, 실패 시 Diagnosis 또는 Repair Skill로 이동하는 방식입니다. 전체 Graph를 한 번에 읽지 않으므로 현재 Context에는 선택된 Branch만 남습니다.

증류의 입력은 Repository·Paper·Task 중 하나인 Anchor와 그 Anchor에서 접근 가능한 선언적 자료입니다. Scope는 Source Understanding와 Capability Identification 또는 Task Decomposition와 Capability Gap Analysis로 필요한 범위를 정합니다. Ground는 자료를 Capability별 근거로 매핑하고, Construct는 실행 가능한 부분을 안정된 Interface로 감싸며, Verify는 Assertion-backed Case와 Repository-native 검사를 통해 Candidate를 Accepted Graph로 바꿉니다. 검사를 통과하지 못한 내용은 숨기지 않고 Construction Record R에 Evidence·Check·미해결 Gap으로 남깁니다.

Repository Collection은 GPT-5.5와 GPT-5.6-sol, xhigh reasoning effort로 구성됐고 Repository당 평균 할당 비용은 약 $40였습니다. 근거 범위는 Source Code, Documentation, Examples, Tests, Scripts, Configuration이며, Graph는 Data Preparation·Training·Inference·Evaluation·Serving·Troubleshooting·Maintenance Workflow로 분해됩니다. 최종 5,353개 Skill은 1,000개 Repository Graph에 배치됐고, 20개 Area와 178개 Capability Family 사이에 2,209개의 정확한 할당이 기록됐습니다.

실험에서는 Codex를 Harness로 사용하고 GPT-5.5 Backbone과 xhigh reasoning effort를 고정했습니다. Skill 생성 예산과 Downstream 실행 예산을 분리하고, with-skills와 without-skills 조건에서 실행 예산을 맞췄습니다. PaperBench는 153개 Source Paper에서 636개 Paper-derived Skill을 만들었고, MLE-bench는 75개 Competition별 Graph, FrontierCS는 188개 Task에 공통인 Recovery Graph, PassNet은 FX-Graph 검사·Pattern Matching·Semantics-preserving Rewrite·Triton 구현·Performance Diagnosis를 포함한 Benchmark-level Graph를 사용했습니다.

한계점

PaperBench에서 20개 Task 중 sample-specific-masks는 57.11%에서 52.04%로, stay-on-topic은 32.31%에서 27.79%로 하락했습니다. 논문은 Retrieved Skill이 Task의 좁고 특수한 구현 선택과 맞지 않을 때 Base Agent의 전략을 방해하는 Retrieval Precision 문제와 Precision-Recall Trade-off를 가능한 원인으로 기록했습니다. 또한 AREX-Skill Library는 ML 소프트웨어 생태계 전체가 아닌 공개성과 실용성을 기준으로 고른 1,000개 Repository의 Curated Snapshot입니다.

실무 활용

AREX-Skill은 ML Repository와 Paper에 흩어진 API 사용법, 설정, 평가 절차, 오류 복구 지식을 Agent-readable Skill로 재사용하려는 구조입니다. 공개 Repository snapshot은 1,000개 Repository와 5,353개 Skill을 포함하며, GitHub의 AREX-Skill 구현과 Library 구조를 바탕으로 비슷한 Skill 증류·검색 파이프라인을 구성할 수 있습니다.

낯선 ML Repository의 데이터 준비·Training·Inference·Evaluation·Serving 절차를 작업 전에 검색하는 연구 에이전트
PaperBench처럼 선행 논문과 관련 Repository를 이용해 논문 구현을 재현하는 Agent
MLE-bench Competition에서 Task별 운영 지식과 진단 절차를 미리 생성하는 실행 파이프라인
PassNet처럼 Pattern Matching·Semantics 보존·Performance Diagnosis가 필요한 Graph Compiler 작업

코드 공개 여부: 공개

코드 저장소 보기

키워드

DisCo(자율 연구 에이전트)AREX-Skill Library(운영 지식 라이브러리)Skill Distillation(Skill 증류)Operational Knowledge(운영 지식)Skill Graph(Skill 그래프)MLE-bench(ML 연구 벤치마크)PaperBench(논문 재현 벤치마크)Progressive Disclosure(점진적 공개)

용어 해설

운영 지식(Operational Knowledge): — 방법론이나 API를 알고 있는 수준을 넘어, 특정 문제에 어떤 도구를 언제 선택하고 어떤 설정과 절차로 실행할지 담은 실천 지식입니다. 이 논문에서는 모델과 Harness가 제공하지 못하는 도메인별 사용 조건, 구현 절차, 검증 및 복구 방법을 명시적 Skill로 변환합니다.
Skill 증류(Skill Distillation): — Repository와 논문처럼 사람이 읽도록 작성된 선언적 자료에서 실행 가능한 절차와 사용 조건을 추출해 검증된 Skill Graph로 재구성하는 과정입니다. 범위를 정하고 근거를 수집한 뒤 Skill을 만들고, 검사와 복구를 거쳐 남은 공백까지 기록합니다.
점진적 공개(Progressive Disclosure): — 많은 지식을 한 번에 Context에 넣지 않고, 먼저 요약된 진입 Skill만 읽은 뒤 현재 작업에 필요한 References와 Scripts를 단계적으로 여는 방식입니다. 이를 통해 에이전트가 수천 개 Skill을 보유하면서도 실제 추론 시에는 관련 내용만 사용합니다.
Skill Graph: — 하나의 Repository나 논문에서 추출한 여러 Skill을 노드로 묶고, 라우팅·의존성·조합 관계를 링크로 표현한 구조입니다. 진입 Skill이 전체 범위와 하위 Skill을 연결하므로, 작업에 필요한 경로만 선택적으로 불러올 수 있습니다.
연구 Harness(Research Harness): — 자율 연구 에이전트에서 계획 실행을 조율하고, Memory·Verification·반복 개선·도구 호출을 관리하는 실행 계층입니다. DisCo는 Harness의 제어 루프를 바꾸지 않고, 그 위에 도메인별 운영 지식을 별도 Context로 추가합니다.

Repo-To-Skill: GitHub 저장소를 AI4AI Skill로 증류하기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 에이전트 Skill의 작동 원리와 실패 경계

필요할 때만 스킬을 불러오는 deskill

확장 가능한 에이전트 스킬 라이브러리를 위한 계약 보존 그래프 압축

Hermes Agent의 업무 수행 능력을 극대화하는 6가지 핵심 오픈소스 스킬

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 에이전트 Skill의 작동 원리와 실패 경계

필요할 때만 스킬을 불러오는 deskill

확장 가능한 에이전트 스킬 라이브러리를 위한 계약 보존 그래프 압축

Hermes Agent의 업무 수행 능력을 극대화하는 6가지 핵심 오픈소스 스킬

최종 점수를 넘어선 장기 AI 연구 에이전트 평가