Zork-bench: 텍스트 어드벤처 게임을 활용한 LLM 추론 평가 도구

Zork-bench는 1970년대 텍스트 어드벤처 게임 Zork를 기반으로 LLM의 추론과 계획 수립 능력을 측정하는 평가 도구이다. 기존 LLM은 인터넷에 방대한 Zork 관련 데이터가 존재함에도 불구하고 게임 내 퍼즐 해결과 아이템 관리에 어려움을 겪으며 낮은 점수를 기록했다. 이 도구는 게임 내 사실을 무작위로 변경하여 모델이 학습 데이터에 의존한 암기가 아닌 실제 추론을 수행하는지 검증한다. 인간 플레이어와 비교했을 때 LLM은 컨텍스트 윈도우 제한으로 인해 장기적인 계획 수립에서 한계를 보였다.