소프트웨어 엔지니어링 성능 벤치마크
SWE Marathon은 소프트웨어 엔지니어링 관련 문제를 대규모로 평가하는 벤치마크로서 문제 기술문서를 입력으로 받고 모델의 코드 작성·디버깅·설계 능력을 평가 점수로 환산한다. 문제 출제 방식은 단편적 코드 생성, 채점은 정답 일치와 실행 결과 기반일 가능성이 높아 개발용 언어모델의 실무 적합도를 가늠하는 지표로 활용된다. 벤치마크 점수는 모델의 일반화 능력과 코드 안정성, 문제 이해력 차이를 드러내므로 모델 선택 시 중요하게 고려된다.
