benchmark-audit

벤치마크 감사는 문제의 품질 검사, 정답 오류 식별, 포맷 문제 및 자동화 채점의 취약점을 찾아 수정하는 절차이다. 감사는 샘플링 기반 검증과 전체 재채점, 크라우드소싱 심사 등으로 수행되며 결함 비율과 수정 내역이 벤치마크 신뢰도를 규정한다. 높은 결함 비율은 해당 벤치마크로부터 도출된 성능 비교의 신뢰성을 약화시킨다.