전문 게임 엔진에서의 프로젝트‑수준 코드 프레임워크 데이터셋 및 벤치마크: JamSet과 JamBench

게임 엔진 프로젝트 규모의 코드 엔지니어링은 데이터 부족과 결정적 평가의 부재로 연구가 드뭅니다. JamSet은 8,133개 프로젝트의 자동 검증 파이프라인을 통해 대규모 데이터셋을 구성하고, JamBench는 테마 기반 생성과 다중 수준 코드 완성을 평가합니다. 이 프레임워크는 모델의 프로젝트‑수준 설계와 런타임 동작을 함께 평가해 코드 품질과 엔진 설계의 간극을 분석합니다.

출발점: 게임 엔진에서의 프로젝트‑수준 코드는 단순 함수/파일 단위가 아니라 구성 요소 간 상호작용과 런타임 동작 전체를 포함한다. 기존 연구는 단위 테스트나 샘플 코드에 의존하는 경우가 많아, 런타임 시나리오와 전체 프로젝트의 품질을 보장하기 어렵다. 본 논문은 Godot의 텍스트 기반 포맷과 headless 실행의 특성을 활용해 대규모 실제 게임 프로젝트에서 파생된 데이터셋과 결정적 평가 파이프라인을 제시한다.

단계1: JamSet/JamBench 데이터셋 구성 - Ludum Dare, itch.io, Global Game Jam의 실제 게임 저장소에서 Godot 프로젝트를 수집하고, 코드 라인 수와 플러그인 의존성 등을 기준으로 pre-filtering 한다. L1 파일 무결성, L2 컴파일, L3a 런타임 안정성, L3b 런타임 동작 수집의 4단계로 분리된 결정적 파이프라인으로 8,549개 프로젝트를 선별하고, 그 중 8,133개를 런타임 동작 수집 대상으로 확정한다.

단계별 특징은 Task1(Theme‑driven generation)과 Task2(다중 Granularity 코드 완성)로 구성된다. Task1은 테마 기반 완전 Godot 프로젝트를 생성하는 과제이고, Task2는 주어진 프로젝트의 일부 코드를 보완하는 다중 수준의 코드 완성을 요구한다. SCS(Structural Completeness Score)와 BAS(Behavioral Alignment Score)로 정적 구조와 런타임 행동을 각각 측정한다. 9개의 최전방 모델과 5개의 Code Agent 구성을 평가하여, 규모가 커질수록 성능 저하가 나타나는 ‘capability cliff’을 확인한다. 또한 JamSet으로 파인튜닝된 모델은 코드 프레임워크의 품질 향상에 기여한다.

아키텍처: JamSet/JamBench는 Godot headless 엔진 기반의 파이프라인으로, L1 파일 무결성 검사, L2 컴파일 검증, L3a 런타임 안정성 확인, L3b 런타임 동작 수집의 4단계를 거친다. 수집 데이터는 manifest.json, game_description.json, eval_config.json, asset_annotations.json 등으로 구성되며, 8,549개 프로젝트 중 8,133개에서 의미 있는 런타임 동작을 수집한다. SCS는 7개 차원의 정적 구조 지표를 정규화해 계산하고, BAS는 7개의 수치 차원과 1개의 세트 차원을 결합해 런타임 행동의 유사도를 측정한다. Task2의 L1/L2/L3a는 모델의 프로젝터 수준 코드 완성 능력을 평가하고, L3b는 런타임 행동 데이터를 기반으로 BAS를 산출한다.