SWE-rebench V2: 대규모 언어 불가지론적 소프트웨어 공학 작업 수집

소프트웨어 공학(Software Engineering, SWE) 에이전트가 급격히 발전하고 있으며, 최근의 성과는 주로 강화학습(Reinforcement Learning, RL)에 의해 주도되고 있습니다. 그러나 강화학습 훈련은 재현 가능한 실행 환경과 신뢰할 수 있는 테스트 스위트(test suite)를 갖춘 대규모 작업 컬렉션의 부족으로 인해 제약을 받고 있습니다. 점점 더 많은 벤치마크가 등장하고 있음에도 불구하고, 훈련에 적합한 데이터셋은 규모와 다양성 측면에서 여전히 제한적이거나 종종 자원이 풍부한 특정 언어 생태계만을 대상으로 합니다. 본 논문에서는 실행 가능한 실제 SWE 작업을 수집하고 대규모 강화학습 훈련 환경을 구축하기 위한 언어 불가지론적(language-agnostic) 자동화 파이프라인인 SWE-rebench V2를 소개합니다. 이 파이프라인은 대화형 설정 에이전트(interactive setup agent)를 통해 저장소별 설치 및 테스트 절차를 합성하고, 인간이 검증한 SWE-bench 주석과 대조하여 검증된 대규모 언어 모델(LLM) 판사(judge) 앙상블을 사용하여 부적절한 사례를 필터링합니다. 이 파이프라인을 사용하여 20개 언어와 3,600개 이상의 저장소에 걸친 32,000개 이상의 작업으로 구성된 데이터셋을 구축했으며, 재현 가능한 실행을 위해 사전 빌드된 이미지를 제공합니다. 훈련 데이터를 더욱 확장하기 위해 설치 지침, 실패-통과 테스트(fail-to-pass tests) 및 풍부한 메타데이터를 포함한 120,000개 이상의 작업을 추가로 공개하며, 여기서 문제 설명은 원본 풀 리퀘스트(pull request) 설명을 기반으로 생성되었습니다. 7개의 인기 모델을 대상으로 5개 프로그래밍 언어의 작업 하위 집합을 다루는 진단 연구를 통해 수집된 사례를 검증하고, 과도하게 제한적인 테스트나 불충분한 설명과 같은 일반적인 혼란 변수를 표시하는 인스턴스 수준의 메타데이터를 제공합니다. 우리는 다양한 언어와 저장소에서 SWE 에이전트의 대규모 훈련을 가능하게 하기 위해 데이터셋, 수집 및 실행 코드, 관련 결과물을 공개합니다.