SWE-Marathon: 장기 자율 소프트웨어 개발을 위한 벤치마크

기존 코딩 벤치마크가 단기적인 문제 해결에 집중했다면, SWE-Marathon은 수천만에서 수억 개의 토큰이 소요되는 실제 프로젝트 규모의 장기 자율 작업을 평가하기 위해 설계됐다. 제품 클론, 라이브러리 재작성, ML 엔지니어링 등 20개의 복잡한 과제를 통해 에이전트의 지속적인 추론과 실행 능력을 측정한다. 특히 풀스택 평가를 위해 컴퓨터 사용 검증기를 도입하고, 에이전트가 평가 지표의 허점을 이용하는 보상 해킹을 방지하는 데 중점을 두었다. 이를 통해 단순한 코드 생성을 넘어 실제 소프트웨어 개발 환경에서의 자율성을 엄격하게 검증할 수 있는 기준을 제시한다.