EvoPolicyGym: 상호작용 환경에서 자율적 정책 진화를 평가하는 벤치마크

자율 에이전트는 단일 출력이 아니라 반복적 피드백을 통해 정책을 개선하는 능력을 갖춰야 한다. EvoPolicyGym은 정책 코드 편집과 제한된 에피소드 예산, 숨겨진 검증을 결합해 에이전트가 주어진 피드백으로 얼마나 일반화 가능한 정책을 찾아내는지를 측정한다. 이 접근은 최종 점수가 숨기는 재시도·오버피팅·검증 누수 같은 실패 모드를 드러내어 실용적 자율성 연구의 평가 단위를 마련한다.

문제 출발점은 에이전트가 실행 가능한 정책 코드를 반복해서 편집하고 그 결과를 에피소드 단위의 환경 롤아웃에서 얻는 제한된 피드백으로 평가받는 상황이다. 전통적인 단일 샷 출력 평가와 달리 이 설정은 코드 구조의 도입 여부와 수치 파라미터의 조정이라는 두 차원의 탐색을 요구한다. 이러한 맥락에서 단순히 점수를 올리는 것은 충분치 않으며, 에이전트는 검증으로 일반화되는 메커니즘을 발견하고 예산 제약 하에서 후보를 관리해야 한다.

해결 원리는 정책 시스템을 평가 단위로 삼는 데 있다. 정책 시스템은 reset 및 act(obs) 인터페이스를 지니는 실행 가능한 번들이며, 에이전트는 workspace에 패치를 제출해 새로운 번들을 생성한다. 서버는 요청된 트레인 에피소드 수만큼 예산을 차감하고 롤아웃 요약과 궤적을 반환하며, 검증과 홀드아웃 평가는 서버 내부에서만 수행되어 에이전트의 관찰을 제한한다. 이 구조는 에이전트가 보이는 피드백을 어떻게 수집하고 그 증거를 바탕으로 어떤 구조적 변경 또는 수치 튜닝을 시도하는지를 분리해 관찰 가능하게 만든다.

달라지는 점은 합성 편집과 파라메트릭 튜닝의 역할 분화에서 나타난다. 픽셀-기반 인식이나 기호 계획이 요구되는 합성 우세 작업군에서는 새로운 모듈과 상태 관리가 도입되어야만 검증 점수가 급등하는 사례가 관찰되었다. 반면 저차원 제어 작업군에서는 적절한 토폴로지에 도달한 뒤 숫자 상수를 조정하는 튜닝이 성능을 안정적으로 개선했다. 따라서 에이전트의 우수성은 단순 점수 우위가 아니라 적절한 구조를 발견하는 능력과 그 구조를 제한된 피드백으로 정교화하는 능력의 결합으로 나타난다.

전체 접근 방식은 에이전트-워크스페이스-서버 루프를 엄격한 예산 제약과 가시성 경계 아래에 배치하는 것이다. 각 런은 초기 workspace와 128 에피소드 예산으로 시작하며 에이전트는 W_i(워크스페이스 상태), F_i(서버 피드백 기록), B_i(남은 예산)를 관찰하고 패치 u_i를 작성하거나 제출 명령 s_i를 보낸다. 제출이 수락되면 서버 S는 선택한 체크포인트로 k개의 트레인 에피소드를 실행해 ΔF_i(롤아웃 요약·궤적·진단)를 반환하고 c_i만큼 예산을 차감한다.

핵심 메커니즘은 정책 번들의 소스 구조를 AST 토폴로지 관점에서 비교하는 편집 분류에 있다. 논문은 숫자 상수를 제거한 후 AST 토폴로지가 바뀌면 이를 합성 편집으로, 동일 토폴로지 내에서 소스가 변경되면 파라메트릭 편집으로 분류했다. 그 후 각 편집이 hidden-validation best-so-far를 갱신했는지 여부를 집계해 편집 성공률을 계산하고 작업군별로 합성 대 튜닝의 기여를 비교했다.

학습 전략·구현 세부에서는 하네스가 에이전트와 도구 호출을 중재하는 역할을 포함한다. 평가에 포함된 시스템은 모델과 하네스의 결합체로 취급되며 토큰 사용, 컨텍스트 길이, 외부 호출 지연 등 하네스별 차이는 실험적 특징으로 보고 진단에 포함되었다. 최종 점수는 서버 내부에서 검증에 기반해 선택된 체크포인트의 홀드아웃 평균 리턴으로 산출되었다.

메인 벤치마크 결과는 Core16에서 GPT-5.5가 전체 집계 순위 점수 0.891로 가장 높은 성취를 보였으며 16개 환경 모두에서 상위 2위 안에 들었다고 보고되었다. Claude Opus 4.7은 집계 점수 0.750으로 두 번째였고 MiniGrid 계열에서 최고 성능을 기록했다. MiniMax-M3와 DeepSeek-V4-Pro는 일부 개별 과제에서 우승을 차지했으나 전반적인 커버리지는 낮아 집계 점수가 각각 0.531과 0.359에 머물렀다.

궤적 수준 진단은 개선이 발생한 시점과 예산 효율 차이를 드러냈다. 논문은 각 런에 대해 post-hoc hidden-validation best-so-far 곡선을 그려서 언제 유효한 후보 정책이 발견되었는지를 확인했다. 이 곡선은 몇몇 MiniGrid 과제에서 급격한 점프가 발생한 반면 MuJoCo와 같은 연속 제어 과제에서는 점진적 상승이 더 자주 관찰되었음을 보였다.

합성 대 튜닝 분석에서는 작업군별 차이가 수치로 확인되었다. 합성이 우세한 작업군에서 GPT-5.5와 Claude Opus 4.7은 정규화된 random-to-best 스케일에서 각각 약 0.98과 1.00에 근접하는 성과를 냈고 MiniMax-M3와 DeepSeek-V4-Pro는 낮은 성과에 머물렀다. 반대로 튜닝 우세 작업군에서는 모델 간 격차가 축소되어 전반적인 성능 분포가 더 조밀하게 나타났다.

전체 아키텍처는 에이전트 하네스, 정책 워크스페이스, 서버 평가 파이프라인의 세 부분으로 구성된다. 에이전트 하네스는 언어 모델과 도구 호출 인터페이스를 포함하며 워크스페이스에 대한 읽기·쓰기, 패치 적용, 제출 명령 생성의 책임을 가진다. 서버는 Gymnasium 호환 환경을 소유하며 제출된 정책 번들을 스냅샷으로 실행해 롤아웃 요약과 궤적 데이터를 생성하고 검증·홀드아웃 분할은 서버 내부에서 유지된다.

편집 분류는 소스 번들의 결정적 AST 특징을 추출해 토폴로지 변화를 판정하는 방식으로 구현되었다. 숫자 상수를 일괄 제거한 뒤 AST 구조가 바뀌면 합성 편집으로 표기하고 동일 구조 내에서의 변경은 튜닝으로 분류했다. 선택된 정책 번들의 정량적 메트릭으로는 함수 개수, 분기 수, 루프 수, 최대 중첩 깊이, 상태 보존 변수 수 등이 사용되어 합성·튜닝 작업군의 코드 규모 분포를 비교했다.

실험 재현성은 Core16에 대해 고정된 초기화 분할과 결정적 래퍼를 통해 확보되었다. 각 환경은 128 에피소드 예산을 받았고 검증·홀드아웃 케이스 수는 각각 16과 32로 고정되었다. 리더보드 셀 하나는 단일 모델-하네스가 하나의 환경에서 수행한 128 에피소드 최적화 런이며 최종 점수는 서버가 검증에서 선택한 체크포인트의 홀드아웃 평균 리턴으로 계산되었다.

논문이 지적한 진단의 한계는 AST 토폴로지 기준이 의미론적 동등성을 완전히 포착하지 못한다는 점이다. 서로 다른 토폴로지가 유사한 동작을 수행할 수 있고 하나의 토폴로지가 유용한 부분과 해로운 부분을 섞을 수 있어 편집 분류는 보수적 근사에 불과하다. 또한 정책 번들 경계에 포함되지 않는 생성 데이터 파일이나 학습된 가중치, 외부 실험 로그는 분석에서 제외되어 일부 개선 경로가 누락될 가능성이 있다.