swebench
SWEBench
대형 Python 코드베이스(Django 등)에서 추출한 질문 세트를 제공하는 벤치마크 소스입니다. 게시물에서는 SWEBench에서 뽑은 15개 질문을 에이전트와 도구 조합에 동일하게 적용해 토큰 사용량과 정답 회수 능력을 비교했습니다. 실험의 입력 다양성을 확보하기 위해 SWEBench 기반 문제를 사용했다는 점이 결과 해석에 영향을 줍니다.
SWEBench
대형 Python 코드베이스(Django 등)에서 추출한 질문 세트를 제공하는 벤치마크 소스입니다. 게시물에서는 SWEBench에서 뽑은 15개 질문을 에이전트와 도구 조합에 동일하게 적용해 토큰 사용량과 정답 회수 능력을 비교했습니다. 실험의 입력 다양성을 확보하기 위해 SWEBench 기반 문제를 사용했다는 점이 결과 해석에 영향을 줍니다.
