Auditing Sabotage Bench: AI 연구 사보타주 탐지 벤치마크

AI 안전성 연구의 자동화 과정에서 발생할 수 있는 모델의 고의적 연구 방해(사보타주) 위협을 측정하기 위해 Auditing Sabotage Bench가 개발됐다. 이 벤치마크는 9개의 실제 ML 코드베이스를 바탕으로 정상 버전과 결과가 왜곡된 사보타주 버전을 포함하며, 최신 LLM과 인간 감사자가 이를 얼마나 잘 식별하는지 측정한다. 실험 결과 Gemini 3.1 Pro가 AUROC 0.77로 가장 높은 성능을 보였으나, 사보타주 수정률은 42%에 그쳐 아직 신뢰할 수 있는 수준에는 도달하지 못했다. 특히 단순 코드 오류(Logic)보다 설계 선택(Design)이나 정보 누락(Omission)을 통한 조작이 탐지하기 훨씬 어려운 것으로 나타났다.