SWE-Skills-Bench: 에이전트 스킬이 실제 소프트웨어 공학에서 정말 도움이 되는가?

LLM 에이전트에게 '스킬'이라는 이름의 지식 문서를 주입하는 방식이 널리 쓰이고 있지만, 실제 복잡한 개발 환경에서의 효용성은 검증되지 않았습니다. 이 논문은 대규모 벤치마크를 통해 스킬 주입이 오히려 비용을 폭증시키거나 성능을 저하시킬 수 있다는 사실을 밝혀내어 에이전트 설계 전략에 중요한 이정표를 제시합니다.

LLM의 Attention Mechanism은 입력된 모든 토큰 간의 관계를 계산하여 다음 단어를 예측한다. 에이전트 스킬 주입은 이 Attention 연산 범위 안에 특정 도구 사용법이나 절차를 담은 SKILL.md 파일을 추가하여 모델의 추론을 가이드하려는 시도이다. 기존에는 이러한 외부 지식이 많을수록 모델이 더 정교하게 작동할 것이라고 가정했다.

하지만 소프트웨어 공학 작업은 프로젝트마다 고유한 맥락과 의존성을 가진다. 스킬 문서에 포함된 일반적인 코드 템플릿이나 과거 버전의 API 가이드는 모델의 Attention이 실제 프로젝트 코드보다 스킬 문서의 잘못된 정보에 더 집중하게 만드는 '문맥 간섭'을 일으킨다. 즉, 모델이 자신의 학습 지식(First Principles)으로 충분히 풀 수 있는 문제임에도 불구하고, 주입된 스킬의 부적절한 예시를 억지로 따르려다 오류를 범하게 된다.

결론적으로 스킬 주입은 만능 해결책이 아니며, 모델이 이미 보유한 지식과의 중복성 및 작업 맥락과의 호환성을 정교하게 고려하지 않으면 오히려 추론 효율성과 정확도를 모두 해칠 수 있다. 이는 에이전트 설계 시 '양보다 질' 그리고 '추상화된 가이드'의 중요성을 시사한다.

벤치마크 구축은 스킬 큐레이션, 작업 생성, 검증기 설계, 쌍체 평가의 4단계로 구성된다. 먼저 mcpmarket 등에서 84,192개의 스킬을 수집한 후, 소프트웨어 개발과 연관성이 높고 단위 테스트가 가능한 49개의 스킬을 선별한다. 각 스킬은 실제 GitHub 저장소의 특정 커밋 시점과 연결되어 총 565개의 작업 인스턴스로 생성된다.

검증을 위해 자연어 요구사항을 배경, 목표, 파일 작업, 수락 기준(Acceptance Criteria)으로 표준화한다. [요구사항 문서와 저장소 메타데이터를 입력으로] → [전문 테스트 엔지니어 역할을 부여받은 LLM이 pytest 코드를 생성하는 연산을 수행하여] → [실행 가능한 테스트 파일을 얻고] → [이 테스트의 통과 여부로 에이전트의 성공을 판정한다].

평가 지표로는 성공률(Pass Rate)과 스킬 효용성 델타(ΔP)를 사용한다. [스킬 주입 시 성공률과 미주입 시 성공률 값을 입력으로] → [두 값의 차이를 계산하여] → [ΔP 수치를 얻고] → [이 숫자가 0보다 크면 스킬이 유익함을, 작으면 간섭을 일으켰음을 의미한다]. 또한 토큰 오버헤드 비율(ρ)을 통해 비용 효율성을 분석한다.

실험 결과, 전체 49개 스킬 중 39개(약 80%)가 성공률에 아무런 변화를 주지 못했다(ΔP = 0). 전체 평균 성공률 향상은 89.8%에서 91.0%로 단 1.2%p 증가에 그쳐, 대다수 스킬의 실질적 효용이 낮음이 확인됐다. 특히 24개의 스킬은 스킬 없이도 이미 100% 성공률을 기록하여 정보의 중복성이 나타났다.

비용 측면에서는 토큰 사용량이 평균 10.5% 증가했으나, 개별 스킬에 따라 편차가 극심했다. service-mesh-observability 스킬은 성공률 변화 없이 토큰 소모량을 450.8% 폭증시킨 반면, python-resilience 스킬은 추론 경로를 최적화하여 토큰 사용량을 77.6% 절감했다. 이는 스킬이 모델의 추론 효율성에 큰 영향을 미칠 수 있음을 보여준다.

성능 저하 사례도 발견되었다. springboot-tdd 등 3개 스킬은 성능을 최대 10% 떨어뜨렸는데, 이는 스킬 내의 구체적인 템플릿이 실제 프로젝트의 API 버전이나 환경과 충돌하면서 모델이 잘못된 코드를 생성하도록 유도했기 때문이다. 반면 금융 계산이나 클라우드 인프라 관리 등 전문 지식이 필요한 7개 스킬은 최대 30%의 유의미한 성능 향상을 기록했다.

SWE-Skills-Bench는 에이전트가 인퍼런스 시점에 주입받는 '스킬'의 한계 효용을 격리하여 측정하는 데 집중한다. 실험은 Claude Code(Claude Haiku 4.5 기반) 에이전트를 사용하여 진행되었으며, 스킬은 SKILL.md 파일 형태로 프로젝트 루트에 배치되어 모델이 자율적으로 발견하고 적용하도록 설계되었다.

문맥 간섭(Context Interference)의 주요 원인으로 '표면적 고착(Surface Anchoring)'이 지목되었다. 모델이 스킬 문서에 적힌 구체적인 API 버전이나 매개변수 값을 작업 문맥에 맞게 수정하지 않고 그대로 복사하면서 오류가 발생한다. 또한, 여러 템플릿을 동시에 처리하는 과정에서 인지 부하가 증가하여 존재하지 않는 필드를 만들어내는 환각(Hallucination) 현상도 관찰되었다.

연구팀은 효과적인 스킬 설계를 위해 '구체적인 템플릿'보다는 '추상적인 가이드라인'을 제공할 것을 권장한다. 하드코딩된 값이 포함된 예시는 모델을 잘못된 방향으로 고정시킬 위험이 크기 때문이다. 또한, 모델의 기본 지식 수준에 따라 스킬의 필요성이 달라지므로 모델-스킬 간의 궁합을 평가하는 과정이 필수적임을 강조한다.

본 연구는 Claude Code와 Claude Haiku 4.5라는 단일 에이전트 구성에서만 실험이 진행되었습니다. 따라서 모델의 크기나 학습 데이터 구성, 또는 다른 에이전트 프레임워크(SWE-agent, OpenHands 등)를 사용할 경우 스킬의 효용성이 어떻게 달라지는지에 대한 추가 검증이 필요합니다.