AI 게임스토어: 인간용 게임을 활용한 기계 범용 지능의 확장 가능한 개방형 평가

급격한 기술 발전의 시대에 인간의 광범위한 범용 지능(General Intelligence)과 비교하여 기계 지능을 엄격하게 평가하는 것이 점점 더 중요해지고 도전적인 과제가 되었습니다. 기존의 인공지능(AI) 벤치마크(Benchmark)는 대개 제한된 범위의 인간 활동 내에서 좁은 능력만을 평가합니다. 또한 대부분은 정적(Static)이어서, 개발자들이 명시적 또는 암시적으로 해당 벤치마크에 최적화함에 따라 성능이 빠르게 포화됩니다. 본 연구에서는 AI 시스템에서 인간과 유사한 범용 지능을 평가하는 더 유망한 방법으로, 특히 강력한 형태의 범용 게임 플레이(General Game Playing)를 제안합니다. 즉, 동일한 수준의 경험, 시간 또는 기타 자원을 가진 인간 플레이어와 비교하여, AI가 '생각할 수 있는 모든 인간 게임'을 어떻게 그리고 얼마나 잘 플레이하고 학습하는지를 연구하는 것입니다. 우리는 '인간 게임(Human Game)'을 인간이 인간을 위해 설계한 게임으로 정의하며, 사람들이 상상하고 즐길 수 있는 모든 게임의 공간인 '인간 게임의 멀티버스(Multiverse of Human Games)'가 평가 도구로서 적합하다고 주장합니다. 이러한 비전을 향한 첫 걸음으로, 우리는 AI 게임스토어(AI GameStore)를 소개합니다. 이는 인간 참여형(Humans-in-the-loop) 대형 언어 모델(LLM)을 사용하여 새로운 대표적 인간 게임을 합성하는 확장 가능하고 개방적인 플랫폼으로, 인기 있는 인간 디지털 게임 플랫폼에서 표준화 및 컨테이너화된 게임 환경 변형을 자동으로 소싱하고 조정합니다. 개념 증명으로서, 우리는 애플 앱스토어(Apple App Store)와 스팀(Steam)의 인기 차트를 기반으로 100개의 게임을 생성하고, 7개의 최첨단 시각-언어 모델(VLM)을 대상으로 짧은 플레이 에피소드를 평가했습니다. 최상위 모델들도 대다수의 게임에서 인간 평균 점수의 10% 미만을 기록했으며, 특히 세계 모델 학습(World-model Learning), 기억(Memory), 계획(Planning)이 필요한 게임에서 어려움을 겪었습니다. 마지막으로, 기계에서 인간과 유사한 범용 지능을 측정하고 발전을 촉진하기 위한 실질적인 방법으로서 AI 게임스토어를 구축하기 위한 향후 단계들을 제시하며 결론을 맺습니다.