Secret Hitler Bench: LLM의 사회적 추론 및 기만 능력을 평가하는 벤치마크

대형 언어 모델의 고차원적 사회적 지능과 기만 능력을 측정하기 위한 'Secret Hitler Bench'가 공개됐다. 이 시스템은 8명의 AI 에이전트가 각기 다른 페르소나와 관계망을 가진 친구 그룹으로 설정되어 게임을 진행하며, OpenRouter API를 통해 200개 이상의 모델을 지원한다. 각 에이전트는 공개적인 대화 외에도 비공개적인 '내적 독백'을 통해 전략을 수립하며, 이를 통해 모델의 실제 추론 과정과 겉으로 드러나는 행동의 차이를 정밀하게 측정한다. 실제 테스트 결과 모델 체급에 따라 게임당 $1에서 $50 이상의 비용이 발생하며, 웹 UI를 통해 실시간 게임 진행 상황과 승률 통계 확인이 가능하다.