포켓에이전트 챌린지: 대규모 경쟁 및 롱 컨텍스트 학습 벤치마크

기존 AI 벤치마크가 놓치고 있는 부분 정보(Partial Observability), 게임 이론적 추론, 장기 계획 능력을 포켓몬이라는 복잡한 환경을 통해 동시에 평가합니다. LLM과 강화학습 모델의 성능 격차를 확인하고, 실질적인 에이전트 성능을 측정할 수 있는 대규모 데이터셋과 표준화된 평가 프레임워크를 제공합니다.

Transformer의 Attention Mechanism은 모든 토큰 간의 관계를 계산하지만, 포켓몬처럼 수만 번의 턴이 이어지는 환경에서는 컨텍스트 윈도우의 한계로 인해 과거의 중요한 결정을 잊어버리는 문제가 발생한다. 또한 기존 벤치마크는 모든 정보가 공개된 상태에서의 추론에 집중되어 있어, 상대방의 정보를 모르는 상태에서 확률적으로 사고해야 하는 실제 의사결정 상황을 반영하지 못한다.

이 논문은 LLM의 사전 학습된 지식(Latent Knowledge)을 실제 실행 가능한 정책(Policy)으로 변환하는 과정에서의 병목 현상을 해결하고자 한다. 단순히 프롬프트 주입에 의존하는 대신, LLM을 고수준 계획자로 사용하고 강화학습(RL)이나 탐색(Search) 알고리즘을 저수준 최적화 도구로 결합하는 하이브리드 접근 방식을 취한다.

결과적으로 LLM 단독으로는 해결하지 못했던 '패닉 행동'(작은 실수 후 실수를 연발하는 현상)을 자기 성찰(Self-reflection) 모듈과 도구 활용(Tool-use)을 통해 극복한다. 이는 에이전트가 수천 번의 버튼 입력을 일관성 있게 유지하며 복잡한 게임 목표를 달성하게 만드는 핵심 원리가 된다.

대전 트랙(Battling Track)은 포켓몬 쇼다운 시뮬레이터를 활용하여 2인 제로섬 게임 환경을 구축했다. 에이전트의 실력을 정밀하게 측정하기 위해 FH-BT(Full-History Bradley-Terry) 점수 체계를 도입했다. [에이전트 간의 모든 대전 승패 기록을 입력으로] → [Bradley-Terry 확률 모델을 통해 각 에이전트의 상대적 실력을 추정하는 연산을 수행해] → [단일 수치로 된 FH-BT 레이팅을 얻고] → [이 값은 에이전트의 실제 실력과 통계적 불확실성을 동시에 나타내는 지표가 된다.]

스피드런 트랙(Speedrunning Track)은 포켓몬 에메랄드 버전을 대상으로 하며, 시각 프레임을 텍스트로 변환하는 Perception, 수천 단계의 상태를 유지하는 Memory, 목표를 분해하는 Planning, 실제 입력을 수행하는 Action의 4단계 하네스(Harness) 구조를 채택했다. 특히 Scripted Policy Distillation(SPD) 기법을 사용하여 LLM이 생성한 스크립트 정책을 사전 지식으로 삼고, 이를 모방 학습과 강화학습으로 정제하여 실행 속도와 효율성을 극대화했다.

대전 에이전트인 PA-Agent는 Metamon 프레임워크를 확장하여 Transformer 백본을 사용하며, 87개의 텍스트 토큰과 48개의 수치 피처를 하이브리드로 입력받는다. [현재 배틀 상태 정보를 입력으로] → [Transformer의 Self-attention을 통해 중요 이벤트를 추출하는 연산을 수행해] → [다음 행동 확률 분포를 출력하고] → [이를 통해 최적의 기술 선택이나 교체 결정을 내린다.]

대전 트랙에서 전문화된 RL 및 탐색 기반 모델(FoulPlay 등)이 범용 LLM 에이전트를 압도했다. 최상위 RL 에이전트는 인간 상위 500위권 수준의 경쟁력을 보였으나, LLM 단독 모델은 복잡한 확률 계산과 상대 예측 실패로 인해 성능이 크게 저하되었다. 특히 Gen 9 OU 룰셋에서 상위 RL 에이전트는 80% 이상의 GXE(기대 승률)를 기록했다.

스피드런 트랙에서 Heatz 팀은 SPD 기법을 통해 40분 13초 만에 첫 번째 체육관을 격파하며 우승했다. 이는 순수 LLM 하네스 방식보다 2배 이상 빠르며, 인간 평균 시간(1시간 22분)보다 약 2배 빠른 수치이다. 모델별 분석 결과, Gemini 3 Flash가 가장 빠른 완료 시간을 기록했으나 행동 효율성 면에서는 Deepest 팀의 모델이 649단계라는 가장 적은 단계로 목표를 달성했다.

모델별 실패 패턴 분석에서 Claude는 메모리 오염 연쇄, Gemini는 목표 간 진동, GPT는 과도한 계획 고수, Qwen은 재귀적 계산 루프로 인한 마비 현상이 관찰되었다. 이러한 실패 모드는 기존 코딩이나 수학 벤치마크에서는 발견되지 않는 포켓몬 벤치마크만의 독특한 평가 요소임이 확인되었다.

전체 아키텍처는 MCP(Model Context Protocol) 도구를 활용한 멀티 에이전트 오케스트레이션 구조이다. 중앙 오케스트레이터가 고수준 경로 계획을 관리하고, 상황에 따라 전투, 성찰, 검증, 퍼즐 해결 전용 서브 에이전트에게 작업을 할당한다. 이는 단일 모델의 컨텍스트 부담을 줄이고 전문성을 높이는 효과를 준다.

탐색 기반의 FoulPlay 에이전트는 루트 병렬화된 MCTS와 DUCT 공식을 사용하여 동시 선택 게임을 처리한다. 특히 데미지 롤 그룹화(Damage Roll Grouping) 기술을 통해 32가지의 가능한 데미지 결과를 실질적 영향력(기절 여부 등)에 따라 클러스터링하여 탐색 분기 계수를 획기적으로 줄였으며, 이를 통해 10턴 이상의 탐색 깊이를 확보했다.

스피드런 트랙의 우승 모델인 Heatz의 SPD 기법은 LLM이 생성한 하위 목표와 실행 코드를 신경망 정책으로 증류(Distillation)한다. 이 과정에서 DQN 에이전트를 전문가 궤적으로 시드(Seed)하고, 엡실론-그리디 전략을 통해 전문가 행동을 점진적으로 모방하며 RL 최적화를 수행하여 추론 속도와 전략적 효율성을 동시에 달성했다.

성능 평가 지표인 FH-BT는 기존 Elo 레이팅의 노이즈 문제를 해결하기 위해 도입되었다. 이는 에이전트의 정책이 고정된 상태에서 밀집된 대전 데이터를 바탕으로 불확실성을 정량화하며, GXE 지표와 결합하여 에이전트의 일반화 능력을 다각도로 검증한다.

VLM-SLAM(시각 언어 모델 기반 동시적 위치 추정 및 지도 작성) 능력 부족으로 인해 에이전트가 기본 위치 파악 및 객체 감지에 어려움을 겪는 경우가 많습니다. 또한 오픈소스 모델만으로는 아직 무거운 하네스 지원 없이 전체 게임을 완료하는 데 한계가 있음이 명시되었습니다.