PokeGym: 시각 중심의 장기적 과업 수행을 위한 멀티모달 모델 벤치마크

기존의 멀티모달 모델(VLM) 평가는 정적인 이미지 이해나 단순한 2D 환경에 치중되어 실제 3D 세계에서의 자율 행동 능력을 측정하기 어려웠다. 이 논문은 복잡한 3D 오픈월드 게임인 '포켓몬 레전드: Z-A'를 활용해 모델이 순수하게 시각 정보만으로 장기적인 계획을 세우고 물리적 장애물을 극복하는 능력을 엄격하게 평가하는 새로운 기준을 제시한다.

기존의 VLM은 이미지 속의 물체를 찾는 '시각적 접지(Visual Grounding)'나 텍스트 지시를 따르는 능력은 뛰어나지만, 연속적인 행동이 필요한 3D 환경에서는 취약하다. 이는 모델이 현재 보고 있는 2차원 화면을 3차원 공간으로 이해하고, 자신의 이전 행동이 환경에 어떤 변화를 주었는지 파악하는 '공간적 직관'이 부족하기 때문이다.

PokeGym은 모델을 복잡한 3D 지형과 가변적인 카메라 시점을 가진 게임 환경에 던져놓음으로써 이 한계를 시험한다. 모델은 단순히 물체를 식별하는 것을 넘어, 장애물에 막혔을 때 카메라를 돌려 주변을 살피고(Viewpoint dependency), 보이지 않는 벽이나 복잡한 지형지물을 인지하여 경로를 수정해야 한다.

실험 결과, 성능이 낮은 모델은 자신이 벽에 막혀 움직이지 못함에도 불구하고 '앞으로 잘 가고 있다'고 착각하는 '인지하지 못한 교착 상태(Unaware Deadlock)'에 빠지는 반면, 고성능 모델은 막혔음을 인지하면서도 구체적인 탈출 방법을 찾지 못하는 '인지한 교착 상태(Aware Deadlock)'를 보였다. 이는 VLM 아키텍처에 명시적인 공간 지각 능력을 통합해야 함을 시사한다.

PokeGym은 Ryujinx 에뮬레이터를 기반으로 구축되었으며, 모델은 GPU 텍스처에서 직접 추출된 RGB 프레임만을 입력받는다. 관찰 인터페이스는 현재 프레임 외에도 이전 프레임(시간적 피드백)과 좌우 시야(공간적 확장)를 선택적으로 제공하여 모델의 인지 범위를 조절할 수 있게 설계되었다.

모델의 출력은 'MoveForward', 'RotateLeft'와 같은 고수준 행동(Discrete) 또는 조이스틱 좌표와 지속 시간을 직접 제어하는 파라미터 제어(Continuous) 방식 중 하나를 선택한다. [모델이 텍스트 형태의 행동 명령을 출력] → [Action Interface가 이를 에뮬레이터 입력 신호로 변환] → [게임 내 캐릭터가 동작 수행] → [환경 단계(Environment Step) 진행] 순으로 실행된다.

평가는 Array of Bytes(AOB) 메모리 스캐닝 기술을 활용한다. [게임 실행 중 특정 메모리 주소의 바이트 패턴을 검색] → [캐릭터의 실시간 좌표 및 퀘스트 플래그 추출] → [사전에 정의된 성공 조건과 비교] → [성공 여부 판정] 과정을 거친다. 이 방식은 모델에게 내부 상태를 노출하지 않으면서도 인간의 개입 없이 객관적이고 확장 가능한 평가를 가능하게 한다.

Claude-Sonnet-4.6, GPT-5.2, Gemini-3-Pro 등 주요 VLM을 평가한 결과, 시각 가이드가 있는 환경에서 Claude-Sonnet-4.6이 60.56%의 성공률로 가장 우수한 성능을 보였다. 하지만 지침이 추상화될수록(Goal-Only) 성능이 급격히 하락했으며, 특히 복잡한 과업(Mixed)에서는 Gemini-3-Pro를 제외한 대부분의 모델이 50% 미만의 낮은 성공률을 기록했다.

물리적 교착 상태(Deadlock) 분석에서 성공률과 비효율적 이동(Ineffective Moves, IM) 사이에는 강한 음의 상관관계(r = -0.52 ~ -0.65)가 나타났다. 이는 모델이 고차원적 계획을 세우더라도 실제 물리적 충돌을 해결하지 못하면 과업 완수가 불가능함을 의미한다. 또한, 모델에게 단순히 '막혔다'는 텍스트 피드백을 주는 것보다 강제로 뒤로 이동시키는 등의 물리적 개입이 성공률 향상에 더 효과적이었다(31.67% → 40.00%).

PokeGym은 에뮬레이터 수준에서 모델과 환경을 격리하는 코드 수준의 고립(Code-level isolation)을 강제한다. 모델은 오직 픽셀 정보만 볼 수 있으며, 평가기는 별도의 프로세스에서 메모리를 읽어 성공 여부를 판단한다. 이는 기존 벤치마크들이 API를 통해 좌표 정보를 제공하거나 인간이 직접 평가해야 했던 한계를 극복한 지점이다.

아키텍처적으로는 VLM의 장기 기억 능력을 테스트하기 위해 '자기 성찰(Self-Reflection)' 모듈을 옵션으로 제공한다. 이 모듈은 매 5단계마다 이전 행동 이력을 요약하고 전략을 수정하여 단기 기억(Short-term memory)과 경험 라이브러리(Experience library)를 업데이트한다. 실험 결과, Gemini-3-Pro와 같은 강력한 모델에서는 이 모듈이 성능 향상에 기여했으나, 약한 모델에서는 오히려 성능을 저하시키는 메타인지적 격차를 보였다.

현재 PokeGym은 순수하게 시각적 RGB 관찰에만 집중하고 있어, 소리(Audio)와 같은 다른 감각 정보는 배제되어 있다. 실제 3D 환경이나 게임에서는 소리가 위험 감지나 상호작용에 중요한 역할을 하므로, 향후 멀티모달 감각 통합에 대한 연구가 필요하다. 또한 현재는 제로샷(Zero-shot) 평가 위주로 설계되어 대규모 에이전트 학습을 위한 보상 설계는 초기 단계에 머물러 있다.