AgentHazard: 컴퓨터 사용 에이전트의 유해 행위 평가를 위한 벤치마크

컴퓨터 사용 에이전트는 텍스트 생성을 넘어 도구와 파일 시스템에 직접 작용하며 상태를 유지하는 특성을 가진다. 이 과정에서 개별 단계는 정당해 보이지만 전체 시퀀스가 결합될 때 권한 없는 동작이나 유해한 결과를 초래하는 새로운 보안 위협이 발생한다. AgentHazard는 이러한 위험을 평가하기 위해 2,653개의 인스턴스를 포함하며, 에이전트가 누적된 컨텍스트와 도구 사용 간의 의존성을 인식하는지 측정한다. 실험 결과 Qwen3-Coder 기반의 Claude Code가 73.63%의 공격 성공률을 기록하는 등 기존 시스템의 취약성이 드러났다. 이는 단순한 모델 정렬만으로는 자율 에이전트의 안전성을 보장하기 어렵다는 사실을 뒷받침한다.