LLM들의 하노이의 탑 대항전: 파이썬 클라이언트 작성 및 전략 대결

대체로 긍정적이며, LLM의 추론 능력을 테스트하는 창의적인 벤치마크 방식에 대해 흥미롭다는 반응이 많다.

• LLM의 논리력을 테스트할 때 단순 질의보다 특정 제약 조건이 있는 코드 작성 및 실행 과제를 부여하는 것이 효과적이다.

Towers of Hanoi

— 세 개의 기둥과 다양한 크기의 원판을 이용하여, 한 기둥에 쌓인 원판을 다른 기둥으로 옮기는 고전적인 퍼즐이다. 한 번에 하나의 원판만 옮길 수 있고 큰 원판이 작은 원판 위에 올 수 없다는 규칙이 있으며, 이 아티클에서는 이를 변형한 대항적 게임 방식을 사용했다.

Adversarial Variant

— 혼자 해결하는 퍼즐에 상대방(Villain) 요소를 추가하여 서로 방해하거나 경쟁하게 만든 게임 규칙이다. 이 게임에서는 영웅이 원판을 옮기면 악당이 즉시 같은 원판을 인접 기둥으로 옮겨야 하는 규칙을 통해 LLM의 전략적 사고 능력을 시험한다.

Round-robin Tournament

— 참가한 모든 팀이나 모델이 서로 한 번씩 돌아가며 대결하는 경기 방식이다. 이 실험에서는 LLM들이 서로 영웅과 악당 역할을 번갈아 수행하며 실력을 겨루어 모델 간의 상대적 성능을 객관적으로 평가하는 데 사용됐다.