본문으로 건너뛰기

Repository-level Benchmark

저장소 수준 벤치마크

개별 함수가 아니라 GitHub 저장소 전체의 코드, 의존성, 실행 환경을 함께 사용해 실제 소프트웨어 수정 능력을 평가하는 방식입니다. 문제 해결에 필요한 파일 탐색과 시스템 통합까지 평가 범위에 포함됩니다.