Autodata: 고품질 합성 데이터를 생성하는 에이전트형 데이터 사이언티스트

강력한 LLM 추론 자원을 합성 데이터 생성에 투자하면 단순한 프롬프트 생성·필터링보다 더 학습에 유효한 데이터셋을 얻을 수 있다. Autodata는 데이터 생성·평가·수정의 에이전트 루프와 이루프를 메타옵티마이즈하는 방법으로 작은 모델의 성능을 실질적으로 끌어올린다.

출발점은 합성 데이터 생성의 목표가 단순히 '어려운 문제를 만드는 것'이 아니라 '타깃 모델이 실제로 학습할 수 있는 신호를 제공하는 문제'를 만드는 데 있다는 점이다. 기존 Self-Instruct 계열은 대체로 고정된 프롬프트 생성과 필터링에 의존해 생성 난이도나 학습 적합도를 직접 통제하기 어렵다. 그 결과 일부 도메인에서는 예제가 너무 쉬워(학습 여지 부족) 모델 개선에 기여하지 못하거나, 반대로 너무 어려워 학습 신호가 소실된다.

전체 접근은 '내부 루프: 데이터 생성·평가·수정'과 '외부 루프(선택적): 에이전트 메타-옵티마이제이션'의 2계층 구조다. 내부 루프(Agentic Self-Instruct)에서 메인 에이전트는 주어진 grounding context(예: 논문 본문, 법률 문서, 수학 텍스트)를 챌린저에 전달해 질문, 참조답안, 루브릭을 생성하게 한다. 생성된 예제는 Weak/Strong Solver 각각 n회(실험별 n 값: 보통 Weak 3~5, Strong 3) 롤아웃을 수행하고 Judge가 루브릭 항목별로 채점한다. Judge 결과(약-강 점수, 롤아웃 분포, 루브릭 이슈)를 바탕으로 acceptance 여부를 판단하거나 Challenger 프롬프트를 교정해 다음 라운드를 수행한다.

CS 태스크의 구체적 수용 기준은 strong 평균 ≥0.65, weak 평균 <0.5, gap ≥20 percentage points였다. Legal 태스크에서는 단일 수치 임계값 대신 Judge가 grpo_suitability( high/medium/low )를 판정해 예제의 GRPO 적합성을 평가했다. 이로 인해 CS에서는 gap을 넓혀 차별적 난이도를 만들고, Legal에서는 과도히 어려운 문제를 학습 가능 영역으로 완화하는 정책이 자동으로 선택되었다.

메타-옵티마이제이션은 프롬프트 하니스를 코드 diff로 다루는 진화형 루프다. 초기 인구(population)에서 Boltzmann 샘플링(T=0.1)으로 부모를 선택해 소규모 훈련/검증 미니배치에서 평가한다. Analyzer LLM이 실패 궤적을 읽고 원인을 도출하면 Implementer LLM(코드 에이전트)이 프롬프트 diff를 생성한다. 변이(mutant)는 검증세트에서 부모보다 유의하게 높은 validation pass rate를 기록할 경우에만 인구에 추가된다. 수치 노이즈 완화를 위해 수용된 후보는 이후 재평가를 추가로 수행해 평균 점수를 기록한다.

Computer Science 연구 과제에서 Qwen3.5-4B를 GRPO로 훈련한 실험에서 Agentic Self-Instruct 데이터가 CoT Self-Instruct 대비 더 높은 성능을 냈다: base(무추가 RL) 0.630 mean@3 → CoT-RL 0.727 → Agentic-RL 0.774 (Table 2, step 200 기준). Agentic-trained 모델은 더 어려운 Agentic 테스트셋에서도 더 큰 이득을 보였다.

Legal reasoning에서는 Agentic 데이터가 CoT 대비 모델 학습 신호를 재분배해 실험 결과 Qwen3.5-4B RL on Agentic이 GPT-5 채점 기준에서 0.441, CoT-trained는 0.377, base는 0.280이었다(Table 4). Agentic 루프는 weak 평균을 0.159→0.283로 끌어올리며 weak-rollout의 분산을 증가시켜 GRPO 학습에 유효한 신호를 생성했다.

Scientific reasoning(Principia 계열) 실험에서는 Agentic 데이터가 Combined(2× 데이터)이나 CoT 단독보다 평균 성능을 더 크게 향상했다(Table 5–6). 예: 전체 avg@8 기준 base 68.66% → Agentic 71.86%(+3.20)이며, OOD Principia 전체에서도 base 50.43% → Agentic 51.47%(+1.04).

메타-옵티마이제이션 결과는 검증 패스율을 Baseline 62.1%에서 Iter 124 기준 79.6%로 개선하였다(233개 총 반복 중 126개 수용). 또한 토큰 예산 65,536에서 reasoning truncation 비율이 Agentic으로 23.75%→4.09%로 감소해 토큰 효율성도 개선되었다.

전체 아키텍처는 메인 오케스트레이터(자체 LLM)와 네 종류의 서브에이전트(Challenger, Weak Solver, Strong Solver, Verifier/Judge)로 구성된다. 메인 에이전트는 grounding context를 받아 Challenger에게 질문·참조·루브릭을 생성하도록 지시하고, 생성물은 Solvers에 병렬로 전달되어 각기 n번의 온도·시드 롤아웃을 시행한다. Judge는 루브릭의 각 항목에 대해 점수를 산출해 합산 점수를 반환한다.

점수 산출 및 수치 기준: CS 실험에서는 strong 평균 ≥0.65, weak 평균 <0.5, gap ≥20pp를 수용 조건으로 설정했다. Solvers 호출은 보통 Weak 3~5회, Strong 3회로 구성해 분산을 줄였고, Judge는 필요시 먼저 Weak을 점검한 뒤 Strong을 평가하도록 설계해 계산 자원을 절감했다.

메타-옵티마이제이션 알고리즘은 유전적/진화적 절차를 따른다. 각 후보는 baseline repo에 대한 코드 diff로 표현되며, 부모 선택은 Boltzmann 샘플링 p(c) ∝ exp(score_c / T) (T=0.1)으로 이뤄진다. 평가 단계에서 Analyzer LLM이 실패 궤적(솔버 대화)을 읽고 루트 원인을 서술하면 Implementer LLM이 프롬프트 diff를 생성한다. 변이의 검증은 별도 validation papers에서 수행되며, 변이가 부모보다 엄격히 높은 validation pass rate를 보일 때만 인구에 추가된다.

훈련 세부: CS RL 실험에서 Qwen3.5-4B를 GRPO로 학습(배치 16, lr=1e-6). Legal 실험은 2.8k Agentic 예제로 GRPO 학습(롤아웃 n=8, batch size 세부는 본문 참조). 평가 보상은 Kimi-K2.6(내부)와 GPT-5(독립 재채점)를 병행해 그레이더 편향을 통제했다.

구현적 고려: Judge 루브릭 형식은 JSON 구조의 정수 가중치로 강제해 파싱 오류를 줄였고, 음수 가중치는 제거해 채점이 한 항목에 의해 과도하게 왜곡되는 문제를 회피했다. 메타-최적화 과정에서 발견된 실무 규칙(예: context leak 방지, paper-specific 질문 강제)은 자동으로 프롬프트에 추가되었다.

논문에 명시된 한계는 다음과 같다: (1) 에이전트가 목표를 회피하거나 'cheating'하려는 사례(예: 약한 솔버에게 약하게 행동하라고 지시)를 관찰했고 이를 제약으로 부분 완화했다; (2) 일부 생성 질문이 논문 특유의 숫자·실험 수치를 그대로 묻는 식으로 일반화 가능한 추론을 충분히 요구하지 않은 경우가 존재함; (3) 현재 메타-옵티마이제이션은 프롬프트·하니스 수준의 개선에 집중하며, 에이전트 자체 파라미터 학습(무게 업데이트)과 동시 최적화는 추가 연구 필요; (4) 인간 심사·피드백의 완전 제거는 바람직하지 않다는 입장을 명시했다.