합성 태스크 스케일링을 통한 AI 과학자 구현

기존 LLM 에이전트는 지식은 풍부하지만 실제 실험 과정에서의 시행착오와 디버깅 능력이 부족했다. 이 논문은 사람이 개입하지 않고도 수천 개의 기계학습 과제를 자동으로 생성하고 검증하는 파이프라인을 통해, AI가 스스로 실험하고 배우는 '자율 연구자'로 진화할 수 있는 실질적인 경로를 제시한다.

현재 LLM은 방대한 지식을 갖추고 있지만, 실제 연구 과정에서 발생하는 '시행착오'와 '디버깅' 경험이 부족하다. 기존 학습 데이터는 주로 완성된 논문이나 코드 결과물에 집중되어 있어, 에이전트가 문제를 해결하기 위해 거치는 중간 단계의 추론과 행동 양식을 배우기 어렵다는 한계가 있다.

이 논문은 '합성 태스크 스케일링'을 통해 이 문제를 해결한다. 먼저 LLM이 스스로 기계학습 주제를 정하고 관련 데이터셋을 Hugging Face에서 찾아 실험 환경을 구축한다. 이 과정에서 코드가 실행되지 않으면 스스로 수정하는 'Self-debugging' 루프를 거쳐 유효한 실험 환경을 대량으로 생산한다.

이렇게 만들어진 수많은 가상 실험실에서 고성능 모델(GPT-5)이 문제를 해결하는 과정을 기록한다. 이 기록에는 단순한 정답뿐만 아니라 오류를 수정하고 가설을 검증하는 모든 '행동 궤적'이 포함된다. 이를 작은 모델(Qwen3)에 학습시킴으로써, 모델이 연구의 논리적 흐름과 도구 사용법을 체득하게 한다.

환경 합성(Environment Synthesis) 단계에서는 모델이 n개의 독립적인 ML 주제를 샘플링하고, Hugging Face API를 검색하여 주제에 맞는 실제 데이터셋을 매칭한다. 이후 MLGym 실행 환경과 호환되는 설정 파일과 베이스라인 코드, 평가 스크립트를 자동으로 생성한다.

환경 검증(Environment Verification) 단계에서는 생성된 태스크를 실제 Docker 환경에서 실행한다. 실행 중 오류가 발생하면 오류 메시지를 다시 모델에 입력하여 코드를 수정하는 반복적 디버깅(Iterative Debugging)을 최대 k번 수행하며, 최종적으로 유효한 점수가 산출되는 태스크만 선별한다.

궤적 생성 및 필터링(Trajectory Generation & Filtering) 단계에서는 검증된 태스크를 HPC 클러스터에서 병렬로 실행하여 교사 모델의 해결 과정을 수집한다. 최소 한 번 이상의 성공적인 제출이 포함된 궤적만 필터링하여 약 34,000개의 SFT(Supervised Fine-tuning) 데이터셋을 구축한다.

MLGym 벤치마크의 13개 태스크에서 평가한 결과, 합성 데이터로 학습된 SFT-Qwen3-4B 모델은 베이스라인 대비 AUP(Area Under the Performance curve) 지표가 9% 향상되었다. SFT-Qwen3-8B 모델은 12%의 성능 향상을 기록하며 더 큰 개선 폭을 보였다.

개별 태스크 분석에서 학습된 모델은 13개 중 9개 태스크에서 기존 Qwen3 모델보다 우수한 성능을 보였다. 특히 CIFAR-10 분류나 House Price 예측과 같이 정형화된 ML 태스크에서 강점을 보였으나, MS-COCO와 같이 복잡한 스타터 코드가 필요한 태스크에서는 개선이 제한적이었다.

데이터 효율성 측면에서, 사람이 작성한 데이터 없이 순수하게 합성된 궤적만으로도 에이전트의 도구 사용 능력과 반복적 최적화 능력이 유의미하게 강화됨을 입증했다.

아키텍처는 SWE-agent의 구조를 차용하여 에이전트가 Bash 명령어를 통해 파일을 읽고 수정하며 가상 환경에서 코드를 실행할 수 있는 인터페이스를 제공한다. 모든 태스크는 격리된 Docker 컨테이너 내에서 수행되어 안전성을 확보한다.

학습 데이터는 단순한 입출력 쌍이 아니라, '생각(Thought) - 행동(Action) - 관찰(Observation)'이 반복되는 멀티턴 대화 형식으로 구성된다. 최대 48K 토큰의 긴 궤적을 수집한 후 학습 시에는 32K 토큰으로 절단하여 사용한다.

성능 지표로 사용된 AUP(Area Under the Performance curve)는 [각 라운드별 에이전트의 성능 점수를 입력으로] -> [시간 축에 따른 성능 변화 곡선의 하단 면적을 적분하여] -> [0.0에서 1.0 사이의 스칼라 값을 산출하며] -> [에이전트가 실험 과정에서 얼마나 빠르고 일관되게 성능을 개선했는지를 나타낸다.]

평가가 MLGym이라는 단일 벤치마크에 국한되어 있어 다른 작업 분포나 저장소 구조에 대한 일반화 성능이 검증되지 않았다. 또한 교사 모델인 GPT-5의 편향이나 실패 모드를 그대로 상속받을 위험이 있으며, 현재의 SFT 방식은 새로운 아이디어를 탐색하는 능력보다는 기존 패턴을 모방하는 데 치중되어 있다.