Evolution Fine-Tuning: 371개 최적화 과제에서 발견 역량을 학습하기

EFT는 진화적 검색에서 생성되는 실제 탐색 궤적을 감독 신호로 활용해 LLM이 '어떻게 해를 진화시키는지'를 파라미터에 내재화하게 만든다. 이로 인해 모델은 각 과제를 처음부터 다시 학습하지 않고도 이전 탐색에서 획득한 전략을 다른 과제로 전이할 수 있다. 결과적으로 작은 오픈소스 모델이 대형·독점 모델 의존성을 줄이며 교차과제 발견 성능을 개선할 가능성이 확인됐다.

기존 LLM 기반 진화적 검색 연구는 반복적 개선 전략을 검색 스캐폴드에 의존해 구성해왔다. 즉, 모델은 매 이터레이션에서 변이를 생성하는 역할만 수행하고 부모 선택, 보존, 재시도 전략 등 발견 절차의 핵심은 외부 스캐폴드가 담당했다. 이로 인해 한 과제에서 얻은 '어떤 부분을 변이해야 하고 언제 되돌아가야 하는지'에 대한 경험이 모델 파라미터에 축적되지 못했다. EFT의 출발점은 진화적 검색에서 생성된 궤적 자체를 감독 신호로 취급하는 것이다. 구체적으로 각 전이는 작업 지시문 I, 부모 해 x_{t-1}, 선택된 이력 ℋ_{t-1}, 실행 로그 ℱ_{t-1}을 입력으로 하고 교사 모델이 생성한 자식 해 x_t를 타깃 출력으로 삼는다. 이렇게 하면 모델은 '진화 상태 → 적절한 변이 제안'이라는 함수 근사를 학습하게 되어 변이 연산자 역할을 파라미터로 내재화할 수 있다. 데이터 수집 단계에서 탐색의 다양성을 확보하기 위해 diff-based edit(부부분 편집)과 full rewrite(전면 재작성) 전략을 모두 수집했다. diff-based edit는 기존 해를 점진적으로 개선하는 착취적 패턴을 제공하고 full rewrite는 보다 넓은 탐색을 유도한다. 훈련에서는 주로 개선(Imp) 궤적을 SFT로 사용하고, 개선과 퇴보(Imp+Reg)를 KTO 기반 선호도 학습으로 대비 학습시켜 모델이 스스로 해의 우수성을 판단하는 능력을 획득하도록 했다. 이 접근은 결과적으로 작은 오픈소스 모델이 대형·독점 모델과 유사한 수준으로 탐색·발견 행동을 수행하게 만드는 핵심적 직관을 제공한다. 즉, 검색 스캐폴드가 제공하던 탐색 절차의 일부를 모델이 흡수하면 과제 간 전략 조합과 전이가 가능해진다. 이 전이는 경쟁적 프로그래밍이나 수치 최적화처럼 서로 다른 도메인 지식을 결합해야 하는 문제에서 특히 이득을 보였다.

데이터셋 구축은 세 단계로 수행됐다. 첫째, 실행 가능한 평가 함수를 가진 기존 벤치마크에서 371개의 seed 과제를 수집했다. 둘째, OpenEvolve 스캐폴드를 이용해 각 과제에서 여러 진화 궤적을 수집했으며 교사 변이 연산자로 Qwen3.5-397B-A17B를 사용했다. 셋째, 시스템 오류·타임아웃·장기 입력·비복구성 케이스를 필터링해 최종적으로 약 156,731개의 유효 궤적을 확보했다. 트래젝토리 수집 시 각 전이는 입력(과제 지시·부모 해·이력·평가 아티팩트)과 생성된 후보의 실행 결과·점수 변화를 기록했다. 출력 길이·입력 길이 제한을 적용해 안정적인 훈련 데이터를 유지했으며 응답 길이 16,384토큰 초과 또는 직렬화된 입출력 총합 32,768토큰 초과 사례를 제거했다. 변이 전략은 diff-based edit와 full rewrite을 약 절반 비율로 수집해 착취와 탐색 모두를 포착했다. 파인튜닝 단계에서는 Imp(개선) 궤적을 주로 사용해 supervised fine-tuning을 실시했다. 베이스 모델로는 Qwen3.5 시리즈(2B, 4B, 9B)와 Qwen3-8B를 사용했고 LLaMA-Factory 프레임워크로 학습을 수행했다. 학습은 전체 데이터에서 에폭 1, 글로벌 배치 128, 학습률 1e-5로 설정했고 8대의 NVIDIA H200 140GB GPU를 사용했다. 이후 KTO 기반의 선호도 학습을 통해 Imp와 Reg를 대비 학습해 자기판단 능력을 추가로 학습시켰다. 평가 구성은 테스트타임 검색(OpenEvolve 사용)을 기본으로 하며 다섯 도메인·22개 홀드아웃 과제를 사용해 교차과제 일반화 성능을 측정했다. 검색 하이퍼파라미터는 T=100, 병렬 평가 크기 1, temperature=0.7, top-p=0.95, 최대 생성 길이 30K 토큰을 기본값으로 채택했다. 비교군에는 동일 베이스 모델의 검색-스캐폴드 및 학습-스캐폴드(재현된 nanodiscover) 결과를 포함했다.

EFT로 파인튜닝한 모델군(Finch)은 22개 홀드아웃 평가 과제에서 동일 크기 베이스 모델 대비 평균 10.22%의 상대 성능 향상을 보였다. 표준화된 벤치마크별로는 ahc058에서 +290.59%와 Transaction에서 +74.30%의 큰 개선이 보고되었고, 대체로 모델 크기가 클수록 상대 이득이 증가하는 경향이 관찰됐다. 이러한 결과는 EFT가 과제 간 발견 전략을 효과적으로 내재화한다는 근거를 제공한다. 테스트타임 RL과의 결합 실험에서 EFT 모델은 두 개의 circle-packing 과제에서 SOTA 수준의 성능을 달성하거나 근접한 결과를 얻었다. Erdős Minimum Overlap 문제에서도 EFT 적용 모델이 베이스 모델을 능가해 EFT가 테스트타임 학습의 '중간 연습 단계' 역할을 할 수 있음을 보였다. 다만 GPT-OSS-120B와 같은 초대형 독점 모델을 완전히 대체하기에는 아직 한계가 남아 있으며, 특히 일부 과제에서는 대형 독점 모델이 우수한 성능을 유지했다. 데이터 스케일링 실험에서 학습에 사용한 과제 수를 15에서 355로 늘리면 홀드아웃 성능이 평균 14.1% 개선되는 추세가 관찰돼 데이터셋과 과제 다양성의 확장이 성능 향상에 기여함이 확인됐다.

아키텍처 관점에서 EFT는 입력-출력 매핑을 통한 SFT 방식으로 동작한다. 입력은 과제 지시(I), 부모 해(x_{t-1}), 선택된 과거 후보(ℋ_{t-1}), 그리고 실행 로그·에러 트레이스(ℱ_{t-1})이며 출력은 교사가 생성한 자식 해(x_t)이다. 이 매핑은 모델이 현재 진화 상태에 적합한 생성 분포를 형성하도록 학습시키는 역할을 한다. 데이터 수집과정에서 교사 변이 연산자는 Qwen3.5-397B-A17B로 설정되어 여러 확률적 디코딩으로 다양한 후보를 생성했다. 각 과제에서 diff-based edit와 full rewrite을 병행 수집해 착취와 탐색 양상을 모두 캡처했고, 각 전이에는 점수 변화 Δ와 실행 아티팩트가 포함돼 나중에 개선(Imp), 무변화(NC), 퇴보(Reg)로 분류되었다. 최종 필터링 단계에서는 시스템 오류(예: 타임아웃, 구문 오류), 비복구성 케이스, 과도한 토큰 길이 사례를 제거해 약 90.6%의 트래젝토리를 유지했다. 훈련 세부사항은 다음과 같다. Finch 모델은 Qwen3.5 시리즈의 2B·4B·9B와 Qwen3-8B를 베이스로 사용했고 전체 SFT는 Imp 궤적 30,445개를 이용해 한 에폭으로 학습했다. 학습 프레임워크는 LLaMA-Factory이며 글로벌 배치 128, 학습률 1e-5로 설정했고 8대의 NVIDIA H200 140GB GPU를 사용했다. 생성 관련 하이퍼파라미터는 temperature=0.7, top-p=0.95, 최대 생성 길이 30K 토큰으로 고정했다. 선호도 학습 단계에서는 KTO를 사용해 Imp(양호)과 Reg(퇴보)를 대비 학습시켜 모델이 자기판단 기준을 내재화하도록 했다. 이 절차는 SFT로 학습한 '무엇을 생성하는가'에 더해 '어떤 해가 좋은가'를 모델이 신호로 학습하게 함으로써 테스트타임 RL과 결합 시 성능을 추가로 끌어올리는 보조 역할을 수행했다.

본 연구는 데이터 수집과 평가에 OpenEvolve 스캐폴드만 사용해 스캐폴드 종속성 문제가 남아 있다. 이에 따라 다른 스캐폴드와 결합했을 때 일반화 성능이 저하될 가능성이 논문에서 명시적으로 지적됐다. 테스트타임 RL 실험은 주로 수학적 최적화 과제에 제한돼 있어 커널 엔지니어링 등 실세계 도메인에서의 시너지 효과는 추가 검증이 필요하다. 멀티모달 입력과 다중 턴 상호작용은 본 작업의 범위 밖이며, EFT를 멀티모달·대화형 설정으로 확장하는 것이 향후 과제로 남아 있다.