대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

$\tau$-bench와 $\tau^2$-bench는 대화형 에이전트의 신뢰성과 인간과의 협업 능력을 측정하는 벤치마크이다. 기존 벤치마크가 다루지 못한 다중 턴 상호작용, 도메인 정책 준수, 대규모 일관성 문제를 해결하기 위해 설계되었다. $\tau^2$-bench는 에이전트와 사용자가 환경을 동시에 제어하는 듀얼 컨트롤 구조를 도입하여 에이전트의 복합적인 추론과 행동 능력을 정밀하게 평가한다. 연구 결과, 추론 복잡도가 높을수록 성능이 저하되며, 에이전트의 성능은 단순히 성공률뿐만 아니라 일관성과 환경 제어 능력에 의해 결정됨이 확인되었다.