AoE 2 빌드 오더 벤치마크: LLM의 전략적 코딩 능력 측정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM의 코딩 및 전략 수립 능력을 평가하기 위해 에이지 오브 엠파이어 2(AoE 2)의 빌드 오더 작성을 과제로 부여했다. 이 테스트는 엄격한 DSL 문법 준수와 1,000라인 이상의 JSON 데이터 처리를 요구하여 모델의 지시 이행 및 문맥 유지 능력을 측정한다. 실험 결과, Claude 3 Opus와 같은 모델 간의 성능 차이가 뚜렷하게 나타났으며 일부 모델은 게임에 대한 사전 지식을 활용하는 모습을 보였다. 단순한 코드 생성을 넘어 복잡한 제약 조건 하에서의 최적화 능력을 확인하는 지표로 활용될 수 있다.

배경

LLM 벤치마킹 기초, DSL(도메인 특화 언어) 개념, AoE 2 게임 메커니즘 이해

대상 독자

LLM 벤치마크 설계자 및 에이전트 개발자

의미 / 영향

기존 벤치마크와 차별화된 OOD 테스트를 통해 모델의 진정한 코딩 능력을 파악할 수 있게 하며, 게임 도메인 지식이 모델 성능에 미치는 영향을 시사한다.

섹션별 상세

벤치마크는 경쟁력 있는 AoE 2 빌드 오더 DSL 파일을 생성하는 능력을 비교하며, 이는 에이전트형 코더에게 요구되는 코딩 최적화 문제를 대변한다.

평가 항목은 엄격한 프롬프트 준수, 1,000라인의 JSON 데이터 내 핵심 요소 식별, 긴 문맥 유지, 생소한 DSL 문법 적용, 전략적 사고를 포함한다.

Claude 3 Opus는 게임에 대한 명확한 사전 지식을 보여주며 우수한 초안을 작성한 반면, Codex 5.3은 기본 프롬프트에서 조기 중단되는 게으름 현상이 관찰됐다.

모델에게 게임 데이터 JSON, 문법 도움말, 빈 빌드 오더 템플릿을 제공했으며, 모든 모델이 DSL 스크립트 작성에는 성공했으나 전반적인 결과는 기대치에 미치지 못했다.

실무 Takeaway

OOD(Out-of-Distribution) 환경인 전용 DSL 작성을 통해 LLM의 단순 암기력이 아닌 실제 논리적 추론 능력을 검증할 수 있다.
1,000라인 이상의 긴 JSON 데이터를 컨텍스트로 제공하여 모델이 핵심 정보를 놓치지 않고 유지하는지 테스트하는 것이 중요하다.
모델의 게으름 현상은 프롬프트 엔지니어링이나 추가 가이드를 통해 극복될 수 있으므로 벤치마크 설계 시 이를 고려해야 한다.

언급된 리소스

문서AoE 2 LLM Benchmarks

Demominebench.ai