LLM들의 하노이의 탑 대항전: 파이썬 클라이언트 작성 및 전략 대결

실용적 조언

LLM의 논리력을 테스트할 때 단순 질의보다 특정 제약 조건이 있는 코드 작성 및 실행 과제를 부여하는 것이 효과적이다.

섹션별 상세

실험 설계자는 LLM들에게 파이썬 3.10 기반의 게임 클라이언트를 작성하도록 요청했다. 영웅이 원판을 옮기면 악당이 즉시 해당 원판을 인접 기둥으로 옮겨야 하는 대항적 규칙을 적용하여 단순 퍼즐 해결 이상의 전략을 요구했다. 영웅의 이동 예산은 최적 이동 횟수인 2^m - 1보다 단 2회 많은 2^m + 1로 설정되어 실수를 거의 허용하지 않는 환경을 구축했다. 이는 모델이 코드의 정확성뿐만 아니라 게임의 논리적 제약 조건을 완벽히 이해해야 함을 의미한다.

토너먼트는 라운드 로빈 방식으로 진행되었으며 각 라운드마다 영웅과 악당 역할을 교대하는 동시 게임 방식을 채택했다. 라운드 설정은 4개의 기둥과 3개의 원판에서 시작하여 최대 12개의 기둥과 7개의 원판까지 난이도가 점진적으로 상승하도록 구성됐다. 승부차기 방식의 매치업을 통해 무승부 상황을 방지하고 모델 간의 명확한 서열을 가릴 수 있도록 설계했다. 실제 이미지 데이터에 따르면 gemini_bot과 GrokTowersBot이 맞붙어 초기 라운드를 진행하는 모습이 확인됐다.

gemini_bot과 GrokTowersBot이 하노이의 탑 변형 게임의 1라운드에서 대결하는 스크린샷이다. — Screenshot이미지는 4개의 기둥과 3개의 원판으로 구성된 초기 라운드 설정을 보여준다. 왼쪽은 gemini_bot이 영웅인 게임, 오른쪽은 GrokTowersBot이 영웅인 게임이 동시에 진행되며 각 모델의 이동 횟수와 마지막 액션 상태를 시각화하고 있다.

용어 해설

하노이의 탑(Towers of Hanoi): — 세 개의 기둥과 다양한 크기의 원판을 이용하여, 한 기둥에 쌓인 원판을 다른 기둥으로 옮기는 고전적인 퍼즐이다. 한 번에 하나의 원판만 옮길 수 있고 큰 원판이 작은 원판 위에 올 수 없다는 규칙이 있으며, 이 아티클에서는 이를 변형한 대항적 게임 방식을 사용했다.
대항적 변형(Adversarial Variant): — 혼자 해결하는 퍼즐에 상대방(Villain) 요소를 추가하여 서로 방해하거나 경쟁하게 만든 게임 규칙이다. 이 게임에서는 영웅이 원판을 옮기면 악당이 즉시 같은 원판을 인접 기둥으로 옮겨야 하는 규칙을 통해 LLM의 전략적 사고 능력을 시험한다.
라운드 로빈 토너먼트(Round-robin Tournament): — 참가한 모든 팀이나 모델이 서로 한 번씩 돌아가며 대결하는 경기 방식이다. 이 실험에서는 LLM들이 서로 영웅과 악당 역할을 번갈아 수행하며 실력을 겨루어 모델 간의 상대적 성능을 객관적으로 평가하는 데 사용됐다.

언급된 도구

Python 3.10중립

게임 클라이언트 작성 및 실행 환경