GBQA: LLM의 품질 보증 엔지니어 성능 평가를 위한 게임 벤치마크

코드 생성이나 수정과 달리, 실행 중인 환경에서 스스로 문제를 정의하고 찾아내는 자율 버그 발견은 AI 소프트웨어 엔지니어링의 마지막 난제로 꼽힌다. 이 논문은 동적인 게임 환경을 활용해 LLM이 복잡한 상태 변화 속에서 논리적 결함을 찾아낼 수 있는지 측정하는 표준화된 시험대를 제공한다.

기존의 소프트웨어 벤치마크는 주로 인간이 작성한 버그 리포트를 보고 코드를 수정하는 '사후 처리'에 집중해 왔다. 하지만 진정한 자율 엔지니어링을 위해서는 아무런 정보가 없는 상태에서 시스템을 탐색하며 '무엇인가 잘못되었다'는 것을 스스로 인지하는 능력이 필수적이다. 이는 모델이 현재 상태(State)를 이해하고, 자신의 행동(Action)에 따른 기대 결과(Expectation)를 예측하며, 실제 결과와의 괴리(Anomaly)를 포착해야 함을 의미한다.

이 논문은 게임을 이 과정의 최적의 시험대로 본다. 게임은 내부 상태 관리, 사용자 입력 처리, 출력 렌더링이 명확하게 분리된 독립적인 소프트웨어 시스템이기 때문이다. 모델은 임베딩된 텍스트 관찰값과 API 기반의 액션 공간을 통해 게임과 상호작용하며, 이 과정에서 발생하는 논리적 모순을 찾아내야 한다. 이는 단순한 문법 오류를 찾는 수준을 넘어, 여러 단계의 인과 관계를 추적해야 하는 고차원적인 추론을 요구한다.

결과적으로 GBQA는 LLM이 복잡한 상태 전이 그래프 내에서 일관성을 유지하며 장기적인 목표를 수행하는 동시에, 미세한 시스템 결함을 감지할 수 있는지를 평가한다. 실험 결과, 현재 가장 뛰어난 모델들도 긴 호흡의 논리 추적이 필요한 'Hard' 난이도 버그에서는 매우 낮은 성능을 보이며, 이는 단순한 모델 크기 확장보다 추론 시간의 확장이 QA 작업에 더 중요함을 시사한다.

GBQA의 핵심은 계층적 멀티 에이전트 시스템을 통한 환경 구축이다. Producer 에이전트가 게임의 장르와 핵심 메커니즘을 정의하면, 하위의 Design, Program, Art 팀 에이전트들이 각각 문서화, 코드 구현, 자산 생성을 담당한다. 이 과정에서 Task Dependency and Priority Graph를 사용하여 작업 간의 의존성을 관리하며, 인간 전문가가 최종적으로 버그의 유효성을 검증한다.

평가 대상인 QA 에이전트는 ReAct(Reasoning and Acting) 프레임워크를 확장하여 동작한다. 각 단계 t에서 관찰값 o_t를 입력받아 행동 a_t를 결정하고, 환경 전이 함수 T(s_t, a_t)에 의해 다음 상태 s_{t+1}로 이동한다. 이때 에이전트는 PredictExpectation 함수를 통해 기대되는 결과 o'{t+1}을 계산하고, 실제 관찰된 o{t+1}과의 차이인 δ_t를 분석하여 이상 징후를 판단한다.

장기적인 탐색을 위해 계층적 메모리 모듈을 도입했다. In-Session Memory는 현재 세션의 궤적을 요약하여 컨텍스트 윈도우 제한을 극복하며, Cross-Session Memory는 여러 번의 실행에 걸쳐 발견된 버그와 탐색된 영역을 누적 저장한다. 이를 통해 에이전트는 중복 탐색을 피하고 이전에 발견한 단서를 바탕으로 더 깊은 논리적 결함을 추적할 수 있다.

실험 결과, 현재 최고의 성능을 보인 Claude-4.6-Opus(Thinking Mode)조차 QA 모드에서 500단계 탐색 시 48.39%의 버그만을 발견했다. 이는 일반적인 코드 수정 벤치마크인 SWE-bench Verified에서 동일 모델들이 70~80% 이상의 성능을 내는 것과 대조적이며, 자율적인 버그 발견이 훨씬 어려운 과제임을 증명한다.

모델 크기보다 추론 능력이 성능에 더 큰 영향을 미치는 것으로 나타났다. Qwen3-32B-Thinking 모델은 33.87%의 리콜(Recall)을 기록하여, 파라미터 수가 훨씬 많은 Llama-3.1-70B(14.52%)나 Qwen3-235B(18.55%)를 압도했다. 이는 복잡한 상태 추적과 동적 검증이 필요한 QA 작업에서 추론 단계의 확장이 필수적임을 보여준다.

버그 난이도별 분석에서 Easy 버그는 300단계 이내에 대부분 발견되어 포화 상태에 도달했으나, Hard 버그는 500단계까지도 발견율이 계속 상승하는 경향을 보였다. 이는 복잡한 논리 결함을 찾기 위해서는 더 긴 탐색 시간과 고도화된 메모리 관리 전략이 필요함을 시사한다.

GBQA는 게임 환경을 E = (S, A, T, s0)의 튜플로 정의하며, 여기서 S는 상태 공간, A는 액션 공간, T는 상태 전이 함수이다. 에이전트는 텍스트 기반의 관찰값과 API 엔드포인트를 통해 환경과 상호작용한다. 벤치마크는 Action, Adventure, RPG, Strategy, Simulation, Puzzle의 6개 장르를 포괄한다.

평가 지표로는 리콜(Recall)을 사용하며, 에이전트가 생성한 버그 리포트 R과 정답 버그 셋 B 사이의 시맨틱 일치 여부를 Critic 에이전트(GPT-5.2 기반)가 판정한다. Critic 에이전트와 인간 평가자 간의 상관관계는 Pearson ρ = 0.903으로 매우 높게 나타나 자동 평가의 신뢰성을 확보했다.

메모리 아키텍처는 슬라이딩 윈도우 방식의 상세 로그와 추상화된 상태 요약을 결합한다. 특히 Cross-Session Memory는 '아이템 X를 획득한 후 이벤트 Y가 가능해짐'과 같은 인과 구조를 보존하여, 단순한 텍스트 로그보다 효율적인 장기 추론을 지원한다. 이는 에이전트가 여러 번의 재시작을 통해 복잡한 퍼즐이나 잠긴 구역의 버그를 체계적으로 공략할 수 있게 한다.

현재 GBQA는 텍스트 기반 관찰과 API 상호작용에 국한되어 있어, 실제 게임의 시각적 요소나 GUI 기반의 복잡한 상호작용에서 발생하는 버그를 포착하는 데 한계가 있다. 또한, 물리 엔진이 복잡하게 작용하거나 확률적인 요소가 강한 게임 환경은 다루지 않는다.