1세대 포켓몬 배틀을 위한 초고속 시뮬레이터 및 신경망 학습 라이브러리

실용적 조언

기존 Foul-Play AI를 사용 중이라면 이 라이브러리를 통해 학습된 신경망으로 평가 함수를 교체하여 성능 향상을 시도할 수 있다.
데이터 생성 시 효율적인 직렬화 형식을 사용하여 저장 공간과 입출력 속도를 최적화하는 것이 중요하다.

섹션별 상세

작성자는 1세대 포켓몬 배틀의 완전 정보 탐색을 공격하기 위해 초고속 시뮬레이터와 Stockfish 스타일의 신경망을 결합한 라이브러리를 개발했다. 이 시스템은 정책 사전 확률을 포함한 소형 신경망을 사용하여 탐색 효율을 극대화한다. 최종적으로는 불완전 정보 게임 환경인 실제 포켓몬 배틀에 적용 가능한 Information-Set MCTS의 평가 함수로 활용하는 것이 목표이다.

라이브러리는 데이터 생성부터 학습, 최적화까지 아우르는 6개의 핵심 프로그램을 포함한다. 'generate' 프로그램은 효율적인 직렬화 형식으로 가치 및 정책 타겟을 저장하는 자기 대국 데이터를 생성한다. 'battle'과 'build' 프로그램은 각각 전투 네트워크와 팀 구성 네트워크를 학습시키며, 'evo'는 진화 알고리즘을 통해 탐색 하이퍼파라미터를 최적화한다.

성능 면에서 일반적인 노트북 환경에서도 단 몇 시간 만에 SOTA 수준의 평가 함수를 학습시킬 수 있을 만큼 최적화가 이루어졌다. 작성자는 기존의 강력한 6v6 싱글 배틀 AI인 'Foul-Play'의 평가 함수를 이 라이브러리로 생성된 모델로 교체하는 것이 매우 간단하다고 설명했다. 현재 라이브러리는 개발 초기 단계로 사용자들의 피드백과 활용을 기다리고 있다.

용어 해설

몬테카를로 트리 탐색(MCTS): — 선택, 확장, 시뮬레이션, 역전파의 4단계를 거쳐 최적의 결정을 내리는 탐색 알고리즘이다. 무수히 많은 경우의 수가 존재하는 게임 트리에서 유망한 경로를 우선적으로 탐색하여 효율적인 의사결정을 가능하게 한다.
정보 집합 몬테카를로 트리 탐색(Information-Set MCTS): — 상대방의 패나 상태를 완전히 알 수 없는 불완전 정보 게임에서 사용하는 MCTS 변형 기법이다. 가능한 모든 시나리오를 고려하여 평균적인 기대값이 높은 행동을 선택함으로써 불확실성을 관리한다.
정책 사전 확률(Policy Prior): — 신경망이 특정 상태에서 각 행동이 선택될 가능성을 미리 예측해둔 확률값이다. 탐색 알고리즘이 모든 가능성을 조사하는 대신 높은 확률을 가진 유망한 행동부터 검토하도록 유도하여 탐색 속도를 높인다.
자기 대국(Self-play): — AI 모델이 자기 자신과 대결하며 데이터를 생성하고 학습하는 강화학습 기법이다. 외부 데이터 없이도 게임의 규칙만으로 고도의 전략을 스스로 터득할 수 있게 하며 알파제로 등의 모델에서 핵심적으로 사용됐다.

언급된 도구

Stockfish추천

신경망 구조 및 평가 방식의 벤치마크 모델

Foul-Play중립

강력한 6v6 싱글 포켓몬 배틀 AI 엔진