OpenMLE: MLE용 공개 RSI 풀스택

왜 중요한가

RSI 연구는 개념적으로 흥미롭지만 실행 가능한 실험 기반이 부족하여 성과 검증이 어렵습니다. OpenMLE은 MLE 작업을 실행하고 그 결과를 연산자 학습과 진화적 탐색에 직접 연결하는 풀스택을 제공하여 실험을 검증 가능한 형태로 전환합니다. 이런 구조는 AI가 코드·실험·설계를 반복적으로 개선하는 능력을 실험적으로 평가하고 재현 가능한 연구를 촉진할 수 있습니다.

핵심 기여

OpenMLE 풀스택 구성

연구는 실행 기반 피드백을 포함하는 검증 가능한 MLE 과제 환경(OpenMLE-Gym), 연산자 학습 모듈(OpenMLE-RL), 그리고 장기 탐색 모듈(OpenMLE-Evo)을 하나의 스택으로 구성했습니다. 이 세 구성요소는 실행 가능한 작업 입력을 받아 프로그램을 생성·수정하고 실행 결과를 다시 학습 신호로 변환하는 입력→과정→출력 루프를 형성합니다. 그 결과로 RSI 연구를 위한 통합된 실험 플랫폼을 마련하여 결과 재현과 비교가 가능하도록 했습니다.

원자적 연산자와 학습 방식

연구는 Draft, Improve, Debug, Crossover라는 네 가지 원자적 프로그램-진화 연산자를 중심에 놓고, 이들 연산자를 실행 결과에 기반한 SFT와 RL로 학습시켰습니다. 학습 데이터는 모든 평가 벤치마크와 중복을 제거하여 평가 편향을 낮추었고, 학습된 연산자들을 장기 탐색 파이프라인에 조합하여 단일 루프에서 학습과 진화를 결합했습니다. 이러한 설계는 연산자 수준에서의 능력 향상을 실제 실행 결과로 검증할 수 있게 합니다.

Frontis-MA1 성능 향상

논문은 35B 크기의 Frontis-MA1를 meta-evolution agent로 사후 학습(post-train)하여 MLE-Bench Lite에서 유의미한 성능 향상을 보였습니다. 제한된 계산 예산(작업당 12시간, RTX 4090 한 장, VRAM 12GB 캡)에서 OpenMLE-Evo 적용 시 Medal Average가 39.39%에서 60.61%로 상승했고, OpenMLE-Evo-Max 설정에서는 71.21%에 도달하여 GPT-5.5 + Codex를 능가하고 GPT-5.6 Sol 및 2.8T Kimi K3에 근접하는 수준을 보고했습니다. 이 결과는 학습된 연산자와 장기 탐색의 결합이 제한된 리소스 환경에서도 효과적임을 시사합니다.

전이성 및 재현성 확보

구성 요소 전환 실험에서 전이성이 확인되었는데, 프레임워크를 고정하고 학습된 모델을 교체하면 NatureBench Lite의 Match-SOTA가 50%에서 70%로 상승했습니다. 반대로 모델을 고정하고 OpenMLE-Evo를 도입하면 동일 벤치에서 20%에서 50%로 상승하여 프레임워크와 모델 양쪽이 독립적으로 기여함을 나타냈습니다. 또한 모델 가중치와 전체 OpenMLE 스택을 공개해 연구 재현성과 추가 검증을 가능하게 했습니다.

핵심 아이디어 이해하기

RSI는 단순한 개념이 아니라 실행 가능한 작업·실행 결과·수정 연산자의 루프를 통해 검증되어야 합니다. 본 연구는 MLE 작업을 실행 가능한 테스트베드로 삼아 네 가지 원자적 연산자(Draft, Improve, Debug, Crossover)를 정의하고, 실행 결과를 학습 신호로 환원하는 execution-grounded SFT 및 RL로 연산자를 학습하여 이들을 장기 탐색에 결합하는 구조를 제안합니다. 이 접근은 프로그램 생성→실행→피드백→연산자 업데이트라는 입력→처리→출력 고리를 닫음으로써 AI가 자체적으로 설계와 구현을 점진적으로 개선할 수 있게 합니다.

방법론

OpenMLE 스택은 실행 가능한 과제 환경(OpenMLE-Gym), 연산자 학습을 담당하는 모듈(OpenMLE-RL), 그리고 장기 탐색을 실행하는 OpenMLE-Evo로 구성되어 각각 입력·과정·출력을 담당합니다. 연구진은 Frontis-MA1(35B)을 post-train하여 네 가지 원자적 연산자를 실행-근거 SFT와 RL로 학습시켰고, 학습 데이터는 모든 평가 벤치마크와 중복을 제거하여 평가 오염을 막았습니다. 학습된 연산자들은 장기 탐색 루틴에 조합되어 단일 루프 안에서 학습과 진화를 결합하도록 설계되며, 제한된 하드웨어(작업당 12시간, RTX 4090, VRAM 12GB) 제약 하에서 실험이 수행되었습니다.

주요 결과

제한된 리소스 설정(작업당 12시간, RTX 4090, VRAM 12GB)에서 Frontis-MA1(35B)을 OpenMLE-Evo와 함께 운영하면 MLE-Bench Lite의 Medal Average가 기본 모델의 39.39%에서 60.61%로 상승하였고, OpenMLE-Evo-Max 설정에서는 71.21%를 기록했습니다. 이 성과는 GPT-5.5 + Codex를 능가하고 GPT-5.6 Sol 및 2.8T Kimi K3에 근접하는 수준이라고 보고되었으며, 프레임워크와 모델의 독립적 기여를 확인하는 전이 실험에서는 프레임워크 고정·모델 교체 시 Match-SOTA가 50%→70%로, 모델 고정·프레임워크 교체 시 20%→50%로 개선되었습니다. 이러한 결과는 학습된 연산자와 장기 탐색의 결합이 실제 벤치마크에서 의미 있는 성능 향상을 가져옴을 수치로 보여줍니다.

기술 상세

핵심 기술 요소는 네 가지 원자적 연산자(Draft, Improve, Debug, Crossover)와 실행 근거 데이터를 사용하는 학습 루틴입니다. 학습은 execution-grounded SFT와 RL을 결합해 진행되었고, 학습 데이터셋은 모든 평가 벤치마크와 중복을 제거하여 평가 오염을 최소화했습니다. 실험 환경은 OpenMLE-Gym/OpenMLE-RL/OpenMLE-Evo로 구성되며, 장기 탐색은 학습된 연산자들을 순차적으로 호출하는 방식으로 구현되어 제한된 하드웨어(작업당 12시간, RTX 4090, VRAM 12GB)에서 평가되었습니다.

실무 활용

OpenMLE은 실행 가능한 MLE 과제를 통해 RSI 관련 알고리즘과 에이전트를 실험·검증할 수 있는 실용적 플랫폼을 제공합니다. 모델 가중치와 전체 스택을 공개함으로써 다른 연구자가 동일 설정을 재현하고 비교하는 것이 가능해졌습니다. 제한된 GPU 자원 환경에서도 연산자 학습과 장기 탐색을 결합한 워크플로우를 시험해 실무적 제약을 고려한 연구를 수행할 수 있습니다.

RSI 알고리즘과 메타-에이전트 성능 비교를 위한 재현 가능한 실험 실행
연산자 수준의 SFT·RL 학습 전략을 검증하고 장기 탐색과 결합한 성능 측정
MLE 파이프라인 자동화 구성요소의 성능 전이성 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

RSIMLEOpenMLEFrontis-MA1execution-grounded SFTOpenMLE-Evo

용어 해설

재귀적 자기 개선(RSI): — 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 시스템이 스스로의 설계·학습·평가 과정을 개선하여 더 나은 시스템을 생성하는 능력을 의미합니다. 이 논문에서는 RSI를 AI가 AI를 개선하는 관점에서, 실행 가능한 실험 환경과 연산자(operator) 학습을 통해 검증 가능한 방식으로 다룹니다. 연구 목표는 추상적 개념이 아니라 Machine Learning Engineering(MLE) 작업 실행과 피드백을 활용해 반복적으로 성능을 키우는 실험적 기반을 마련하는 것입니다.
Machine Learning Engineering(MLE): — Machine Learning Engineering은 모델 개발·검증·배포·운영의 전체 파이프라인을 다루는 실용적 공학 분야입니다. 본 연구는 MLE를 RSI 연구의 실행 가능한 테스트베드로 취급하여 코드 실행과 피드백을 통해 모델이 설계와 구현을 반복적으로 개선하도록 구성합니다. OpenMLE 스택은 MLE 작업을 자동화하고 장기 탐색을 수행하는 구성요소들을 포함합니다.
진화적 탐색 알고리즘(Evolutionary Algorithm): — 진화적 탐색 알고리즘은 해 집단을 변형·교배·선택하는 연산자를 반복 적용하여 해결책을 점진적으로 개선하는 탐색 방식입니다. 논문에서는 네 가지 원자적 연산자(Draft, Improve, Debug, Crossover)를 정의하고 이들을 학습된 연산자와 결합해 장기 탐색을 수행합니다. 진화적 탐색은 실행 결과로부터 얻은 피드백을 이용해 후보 프로그램을 반복적으로 개량하는 데 사용됩니다.