BeyondSWE: 단일 저장소 버그 수정을 넘어선 코드 에이전트 평가 벤치마크

기존 코드 에이전트 평가는 단일 저장소 내의 단순 버그 수정에 치중되어 실제 소프트웨어 엔지니어링의 복잡성을 반영하지 못했습니다. 이 논문은 여러 저장소를 넘나들거나 전문 지식이 필요한 4가지 고난도 시나리오를 제시하여, 현재 모델들이 검색 결과와 코딩 로직을 통합하는 데 겪는 근본적인 한계를 증명합니다.

왜 중요한가

핵심 기여

BeyondSWE 벤치마크 구축

Cross-repository reasoning, 도메인 특화 문제 해결, 의존성 마이그레이션, 전체 저장소 생성 등 4가지 핵심 차원을 포함하는 500개의 실무 인스턴스를 제공함.

SearchSWE 프레임워크 개발

에이전트가 외부 웹 검색과 로컬 코드 조작을 반복하며 문제를 해결할 수 있는 통합 환경을 구현하여 검색 증강 에이전트의 기준점을 제시함.

검색-코드 불일치 현상 규명

검색 증강이 항상 성능 향상으로 이어지지 않으며, 오히려 노이즈 유입이나 버전 불일치로 인해 성능이 저하될 수 있는 'Search-Code Disconnect' 현상을 발견함.

핵심 아이디어 이해하기

기존의 코드 에이전트는 Transformer 기반의 뛰어난 코드 생성 능력을 갖췄지만, 대부분 제공된 코드베이스 안에서만 답을 찾는 '폐쇄적 루프'에 갇혀 있다. 실제 개발자는 모르는 API가 나오면 검색을 하고, 다른 프로젝트의 코드를 참고하며, 최신 문서와 자신의 구버전 환경 사이의 차이를 조율한다. BeyondSWE는 바로 이 '외부 지식 활용'과 '광범위한 코드 수정' 능력을 측정하기 위해 설계되었다. 특히 SearchSWE 프레임워크를 통해 에이전트에게 검색 도구를 쥐어주었을 때, 모델이 검색된 최신 라이브러리 정보를 로컬의 레거시 환경에 무비판적으로 적용하다가 실패하는 'Recency Bias' 등의 한계를 명확히 드러냈다. 이는 코드 에이전트가 단순히 코드를 잘 짜는 것을 넘어, 검색된 정보의 맥락을 로컬 환경에 맞춰 필터링하는 능력이 필수적임을 시사한다.

방법론

BeyondSWE는 해결 범위와 지식 범위라는 두 축을 기준으로 4가지 과제를 구성한다. CrossRepo는 외부 저장소 참조를, DomainFix는 과학/공학 전문 지식을, DepMigrate는 의존성 업그레이드 대응을, Doc2Repo는 명세서 기반 전체 저장소 생성을 요구한다. 각 인스턴스는 Gemini 3 Pro를 활용한 에이전트 기반 Docker 환경 구축 파이프라인을 통해 생성되며, 이 과정에서 과거 커밋의 복잡한 의존성 환경을 자동으로 재현하고 정답 힌트가 제거된 문제 정의서를 도출한다. SearchSWE 프레임워크는 에이전트가 로컬 컨텍스트(Docker 내 코드 실행 및 테스트)와 글로벌 컨텍스트(Google Search 및 Browser 도구)를 자율적으로 오가며 추론과 정보 탐색을 병행하도록 설계되었다.

주요 결과

OpenHands 프레임워크 기반 평가 결과, 최상위 모델인 Gemini 3 Pro도 평균 성공률 41.82%에 그쳤으며, 특히 도메인 특화 지식이 필요한 DomainFix 과제에서는 모든 모델이 36% 이하의 낮은 성공률을 보였다. SearchSWE를 적용했을 때 Gemini 3 Pro는 평균 2.0%의 성능 향상을 보였으나, Seed-Coder와 같은 코드 특화 모델은 오히려 성능이 2.9% 하락하는 등 검색 증강의 효과가 모델마다 불일치하게 나타났다. 분석 결과, 에이전트가 검색 도구를 많이 사용할수록 성능이 오르는 것이 아니라, 필요한 시점에 정확한 정보를 추출하고 노이즈를 걸러내는 능력이 성능의 핵심 변수임이 확인되었다.

기술 상세

BeyondSWE는 데이터 오염을 방지하기 위해 2025년 이후 생성된 고품질 저장소를 활용하며, PR 설명에서 해결책을 제거하는 역공학 기법을 통해 순수한 문제 해결 능력을 측정한다. 연구진은 'Search-Code Disconnect'의 원인으로 정보 경관의 차이(검색 엔진이 소스 코드보다 일반 문서를 우선함), 시간적 불일치(최신 문서와 로컬 구버전 환경의 충돌), 의미론적 표류(기술 용어의 다의성으로 인한 노이즈)를 지목했다. 에이전트 행동 분석 결과, 효율적인 에이전트는 적은 수의 도구 호출로도 높은 성능을 냈으며, 이는 무분별한 탐색보다 정밀한 추론이 중요함을 입증한다. 또한 Resolved Rate와 Pass Rate를 병행 사용하여 에이전트가 개별 컴포넌트는 구현하더라도 전체 시스템 아키텍처를 구성하는 데 어려움을 겪는 양상을 포착했다.

한계점

검색 엔진이 소스 코드나 커밋 로그 같은 로우 기술 데이터를 우선순위에서 밀어내고 일반 문서를 먼저 보여주는 경향이 있어, 에이전트가 정밀한 구현 로직을 찾는 데 어려움을 겪음.

실무 활용

실제 개발 환경과 유사한 복잡한 과제를 통해 코드 에이전트의 실질적 성능을 검증하고 개선 방향을 제시합니다.

에이전트의 라이브러리 마이그레이션 자동화 도구 성능 평가
과학 계산 및 전문 공학 분야 특화 코드 에이전트 벤치마킹
자연어 명세서 기반의 보일러플레이트 코드 자동 생성 시스템 테스트

코드 공개 여부: 공개

코드 저장소 보기

키워드

Code Agent(코드 에이전트)Benchmark(벤치마크)Cross-Repository Reasoning(교차 저장소 추론)Dependency Migration(의존성 마이그레이션)Search-Augmented Coding(검색 증강 코딩)

용어 해설

소프트웨어 엔지니어링 벤치마크(SWE-bench): — 실제 GitHub 이슈를 활용하여 AI 모델의 버그 수정 능력을 평가하는 표준 벤치마크이다. 모델이 코드베이스를 탐색하고 수정안을 제출하면 테스트 통과 여부로 성능을 측정하며, 에이전트의 실무 능력을 검증하는 핵심 지표로 활용된다.
의존성 마이그레이션(Dependency Migration): — 소프트웨어가 사용하는 외부 라이브러리를 최신 버전으로 업데이트하고, 그 과정에서 발생하는 API 변경 사항에 맞춰 기존 코드를 수정하는 작업이다. 단순 버그 수정보다 훨씬 넓은 범위의 코드 리팩터링과 시스템 이해도가 요구되는 고난도 작업이다.
교차 저장소 추론(Cross-Repository Reasoning): — 하나의 코드 저장소에 국한되지 않고, 외부 라이브러리나 관련 프로젝트 등 여러 저장소의 정보를 동시에 분석하여 문제를 해결하는 능력이다. 실제 개발 환경에서 다른 프로젝트의 구현 사례를 참고하거나 라이브러리 문서를 확인하는 과정과 유사하다.

BeyondSWE: 단일 저장소 버그 수정을 넘어선 코드 에이전트 평가 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

과학 소프트웨어 수정을 평가하는 SWE-bench Science

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

대규모 다국어 코드 리팩터링 에이전트 벤치마크

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

DeepSWE 소프트웨어 엔지니어링 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

과학 소프트웨어 수정을 평가하는 SWE-bench Science

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

대규모 다국어 코드 리팩터링 에이전트 벤치마크

2026년 AI 코딩 에이전트 오픈소스 벤치마크 10선

DeepSWE 소프트웨어 엔지니어링 벤치마크