AI를 활용한 Mancala 게임 봇 제작 및 PolicyModel 학습 프로젝트

커뮤니티 반응

대체로 긍정적이며, 작성자의 체계적인 학습 접근 방식과 결과물에 대해 흥미롭다는 반응이다.

합의점 vs 논쟁점

합의점

Mancala(Kalah 규칙)는 선공이 완벽하게 플레이할 경우 반드시 승리하는 해결된 게임이다.
단순 가중치 모델보다 신경망 기반의 정책 모델이 게임 전략 학습에 더 효과적이다.

실용적 조언

단순한 가중치 평균 모델보다 지도 학습과 리그 학습을 결합한 PolicyModel이 복잡한 전략 게임에서 훨씬 뛰어난 성능을 발휘한다.
보드게임 AI 개발 시 Minimax와 같은 전통적 알고리즘을 학습 데이터 생성기로 활용하여 신경망을 고도화할 수 있다.

섹션별 상세

작성자는 초기 단계에서 Random, Greedy, Minimax 알고리즘을 적용한 세 가지 봇을 구현했다. Minimax 봇은 4수 앞을 내다보는 탐색 깊이를 가졌으며, 일반적인 플레이어가 이기기 어려운 수준의 성능을 보여주었다. 이는 전통적인 탐색 알고리즘이 규칙이 명확한 보드게임에서 강력한 기준점 역할을 수행함을 입증했다.

Mancala 게임의 웹 인터페이스와 보드 레이아웃 화면이다. — Screenshot작성자가 JavaScript로 구현한 게임의 기본 구조를 나타낸다. 각 구덩이의 돌 개수와 점수판이 시각화되어 있으며, 봇과의 대국이 진행되는 환경을 확인할 수 있다.

Greedy 봇을 교사 모델로 활용한 가중치 평균 방식의 학습을 시도했으나 성능 향상에 한계가 있었다. 실시간으로 가중치를 조정하며 수많은 게임을 시뮬레이션했음에도 불구하고, 단순한 선형 결합 방식으로는 복잡한 게임의 승리 전략을 완전히 포착하지 못했다. 이 과정에서 더 고도화된 신경망 구조와 학습 전략의 필요성이 확인됐다.

AI가 제시한 Minimax 봇 공략 전략 텍스트이다. — Screenshot작성자가 Minimax 봇을 이기기 위해 AI에게 조언을 구한 결과이다. 특정 수의 조합과 전략적 우선순위를 텍스트 형태로 제안한다.

가중치 기반 봇 학습 및 데이터 생성 유틸리티 화면이다. — ScreenshotGreedy 봇을 교사로 사용하여 가중치를 조정하고 학습 데이터를 생성하는 도구이다. 실시간으로 모델의 성능 변화를 모니터링할 수 있는 인터페이스로 구성되어 있다.

AI의 조언을 바탕으로 데이터 생성, 지도 학습, 리그 학습의 3단계로 구성된 PolicyModel 학습 체계를 도입했다. 24개의 입력 레이어와 3개의 은닉 레이어를 가진 약 8,000개 파라미터 규모의 모델을 설계하고 20,000번의 게임 데이터를 학습시켰다. 수 시간의 학습 결과, 모델은 선공 시 반드시 승리하는 최적의 경로를 찾아내는 데 성공했다.

PolicyModel의 3단계 학습 파이프라인 설정 화면이다. — Screenshot데이터 생성, 지도 학습, 리그 학습의 세 단계로 구성된 고도화된 학습 프로세스를 나타낸다. 각 단계의 파라미터와 진행 상황을 제어할 수 있는 구조이다.

최종 구현된 PolicyModel은 Kalah 규칙의 Mancala가 선공 필승의 '해결된 게임'임을 실험적으로 증명했다. 작성자는 힌트 기능을 통해 모델의 수를 따라가는 방식으로 무적의 성능을 확인했으며, 이는 소규모 신경망으로도 특정 도메인에서 완벽한 의사결정이 가능함을 시사한다. 모델 내부에는 수많은 가중치 세트와 이를 실행하기 위한 추론 컴포넌트가 포함됐다.

모델 내부의 가중치 데이터와 추론 컴포넌트 구조이다. — Screenshot학습된 모델의 파라미터가 어떻게 저장되고 관리되는지 나타낸다. 게임 내에서 실시간으로 수를 결정하기 위한 추론 엔진의 구성 요소를 확인할 수 있다.

용어 해설

미니맥스 알고리즘(Minimax): — 게임 이론에서 자신의 손실을 최소화하고 상대의 이득을 억제하도록 설계된 결정 규칙이다. 모든 가능한 수를 탐색하여 최선의 선택을 내리며, 보드게임 AI의 기초적인 알고리즘으로 널리 사용된다.
정책 모델(Policy Model): — 특정 상태에서 어떤 행동을 취할지 확률적으로 결정하는 신경망 모델이다. 강화학습이나 게임 AI에서 최적의 전략(Policy)을 학습하고 실행하는 핵심 역할을 담당한다.
지도 학습(Supervised Learning): — 정답이 포함된 데이터를 학습시켜 입력값에 대한 정확한 출력값을 예측하도록 만드는 기법이다. 이 프로젝트에서는 기존 봇의 대국 데이터를 정답으로 활용하여 초기 모델을 학습시켰다.
리그 학습(League Training): — 여러 모델이나 에이전트들이 서로 대국하며 성능을 겨루고, 그 결과에 따라 모델을 점진적으로 개선하는 방식이다. 자가 학습(Self-play)과 유사하게 모델의 경쟁력을 높이는 데 효과적이다.
해결된 게임(Solved Game): — 모든 가능한 수의 결과가 분석되어, 완벽하게 플레이할 경우의 승패가 미리 결정된 게임을 의미한다. Mancala의 특정 규칙은 선공이 완벽하게 플레이할 경우 반드시 승리함이 증명되어 있다.

언급된 도구

JavaScript중립

게임 로직 및 웹 인터페이스 구현

ML Library추천

신경망 모델 구축 및 학습

언급된 리소스

DemoMancala Game Preview

DemoTraining Utility