deep-swe

모델의 소프트웨어 엔지니어링 관련 성능을 측정하는 평가 지표로서 여러 유형의 소프트웨어 질문과 코드 관련 과제를 통합해 점수를 산출한다. 입력으로는 코드·설계·디버깅 관련 문제들이 제공되고 모델은 정답 또는 해결 절차를 출력하여 채점된다. 모델 간 성능 비교와 비용 효율성 판단에 사용되며 본 차트의 세로축 값으로 활용되었다.