zork-bench: 텍스트 어드벤처 게임 기반의 LLM 추론 능력 평가 도구

zork-bench는 1977년 출시된 고전 텍스트 어드벤처 게임 'Zork'를 활용하여 대규모 언어 모델(LLM)의 추론 및 계획 능력을 평가하는 프레임워크입니다. LLM은 인터넷상의 방대한 Zork 공략 데이터를 학습했음에도 불구하고, 실제 게임 플레이 시 인벤토리 관리나 복잡한 퍼즐 해결에서 인간보다 낮은 성능을 보입니다. 이 도구는 LLM에게 노트 작성 및 지도 기록 도구를 제공하며, 학습 데이터 암기를 배제하기 위해 게임 내 사실 관계를 무작위로 변경하는 기능을 포함합니다. 실험 결과, 최신 모델들도 500턴 동안 소수의 보물만 수집하는 등 실질적인 추론 기반의 계획 수립에 한계를 드러냈습니다.