섹션별 상세
기존 LLM은 체스 규칙 준수나 게임 종료 조건 처리에 어려움을 겪었으나, 최신 추론 모델은 전략과 지시 이행 모두에서 향상된 성능을 보인다.
평가는 무작위 플레이어(Random Player)와 체스 엔진(Komodo Dragon)을 상대로 진행되며, 이를 통해 모델의 Elo 레이팅을 산출한다.
주요 지표인 게임 지속 시간(Game Duration)은 모델이 게임 루프를 이탈하지 않고 끝까지 지시를 따르는 능력을 측정한다.
AG2(AutoGen) 프레임워크를 기반으로 체스 보드와 에이전트 간의 상호작용을 구현하여 다중 턴 대화 환경을 조성한다.
모델은 보드 상태 확인, 가능한 수 조회, 수 두기 등의 행동을 선택하며, 10턴 내에 규칙을 위반하거나 잘못된 행동을 하면 패배 처리된다.
text
Proxy (to Player_Black): You are a professional chess player and you play as black. Now is your turn to make a move. Before making a move you can pick one of the following actions:
- 'get_current_board' to get the schema and current status of the board
- 'get_legal_moves' to get a UCI formatted list of available moves
- 'make_move <move>' when you are ready to complete your turn (e.g., 'make_move e2e4')
Respond with the action.
Player_Black (to Proxy): get_current_board
Proxy (to Player_Black): ♜ ♞ ♝ ♛ ♚ ♝ ♞ ♜ ♟ ♟ ♟ ♟ ♟ ♟ ♟ ♟ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ♙ ♙ ♙ ♙ ♙ ♙ ♙ ♙ ♖ ♘ ♗ ♕ ♔ ♗ ♘ ♖
Player_Black (to Proxy): get_legal_moves
Proxy (to Player_Black): a7a6, b7b6, c7c6, d7d6, e7e6, f7f6, g7g6, h7h6, a7a5, b7b5, c7c5, d7d5, e7e5, f7f5, g7g5, h7h5
Player_Black (to Proxy): make_move e7e5LLM이 체스 게임 중 보드 상태를 확인하고 수를 두는 대화 예시
근거
- 게임은 최대 200수까지 진행되며, 이후에는 종료된다. — 게임 종료 조건 설명 섹션
- 대화는 최대 10턴으로 제한되며, 3회 이상의 규칙 위반 시 패배 처리된다. — Dialog 섹션
용어 해설
- Elo 레이팅(Elo Rating)
- — 체스 등 대전 게임에서 상대적인 실력 수준을 나타내는 수치. 이 리더보드에서는 체스 엔진의 실력을 기준으로 LLM의 성능을 정량화하고 비교하는 척도로 사용된다.
- 에이전트 환경(Agentic Setting)
- — LLM이 단순히 텍스트를 생성하는 것을 넘어, 도구를 사용하고 환경과 상호작용하며 목표를 달성하는 설정. 여기서는 체스 보드와 소통하며 게임을 진행하는 상황을 의미한다.
- UCI 포맷(UCI Format)
- — Universal Chess Interface의 약자로, 체스에서 수를 표기하는 표준 방식. 'e2e4'와 같이 시작점과 도착점을 명시하여 LLM이 체스 엔진과 소통할 때 사용한다.
- 게임 루프(Game Loop)
- — 게임이 종료될 때까지 반복되는 실행 구조. LLM이 매 턴마다 보드 상태를 확인하고 수를 두는 과정을 반복하며, 이 과정에서의 이탈 여부가 지시 이행 능력을 평가하는 핵심 지표가 된다.
기술
- AG2
- Komodo Dragon
- chess
- Python
활용 사례
- LLM 에이전트 성능 평가
- 지시 이행 능력 측정
- 게임 환경 기반 벤치마킹
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 18.수집 2026. 06. 18.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
