TL;DR
에이전트형(agentic) 모델은 도구 사용과 멀티턴 상호작용을 수행하나, 공개된 학습 데이터 구축 방법은 제한적이다. 본문은 6단계 SFT 데이터 큐레이션 파이프라인과 100여 개의 통제된 ablation을 통해 실험적으로 어떤 데이터 설계가 에이전트 성능을 끌어올리는지 규명하고, 공개 데이터셋·파이프라인·모델을 배포한다.
왜 중요한가
에이전트형(agentic) 모델은 도구 사용과 멀티턴 상호작용을 수행하나, 공개된 학습 데이터 구축 방법은 제한적이다. 본문은 6단계 SFT 데이터 큐레이션 파이프라인과 100여 개의 통제된 ablation을 통해 실험적으로 어떤 데이터 설계가 에이전트 성능을 끌어올리는지 규명하고, 공개 데이터셋·파이프라인·모델을 배포한다.
핵심 기여
6단계 SFT 데이터 큐레이션 파이프라인과 대규모 ablation
태스크 소싱, 혼합, 태스크 필터링, 교사(teacher) 롤아웃 생성, 롤아웃 필터링, 최종 레시피 선택의 6단계 파이프라인을 정의하고 100개가 넘는 통제된 ablation 실험으로 각 단계의 설계 결정을 정량화했다.
OpenThoughts-Agent-v2: 100K SFT 데이터셋과 Qwen3-32B 파인튜닝
파이프라인으로 생성한 100K 트레이스(OpenThoughts-Agent-v2)로 Qwen3-32B를 SFT하여 7개 agentic 벤치마크 평균 44.8%를 달성하고, 기존 공개 데이터 기반 모델(Nemotron-Terminal-32B, 40.9%) 대비 평균 +3.9 percentage point 개선을 기록했다.
데이터 설계 인사이트: 소스 다양성·교사 선택·롤아웃 길이의 효과
태스크 소스 선택이 SWE-Bench에서 최대 ~30pp, Terminal-Bench에서 약 10pp까지 성능 차이를 유발했고, 최고 벤치 성능 모델이 최적의 교사가 되지는 않았으며(예: GLM-4.7-AWQ가 더 나은 교사), >=5 turns 필터가 downstream 성능을 향상시켰다.
데이터 스케일링 전략: 합성 증강으로 업샘플링 한계 극복
단순 롤아웃 업샘플링은 31.6K~100K 구간에서 성능 정체를 보였고, Tezos 등 소스의 표면 다양성을 LLM 기반 재작성으로 확장(≈902→21K 표면형)하자 모든 벤치에서 지속적 성능 향상이 관측되었다.
SFT + RL 파이프라인과 pymethods2test RL 데이터의 효능
8B 규모에서 SFT 후 RLOO 기반 RL을 적용한 파이프라인이 순차적 SFT만 혹은 RL-only보다 우수했고, RL 데이터 소스에 따라 평균 성능이 최대 7.6pp 차이 나는 것으로 확인되어 RL 데이터 소싱의 중요성을 규명했다.
핵심 아이디어 이해하기
기본 문제는 에이전트형 행위(도구 호출·터미널 명령·멀티턴 상호작용)를 잘 수행하도록 모델을 Fine-tune할 때, 어떤 종류의 (task, trajectory) 데이터가 가장 효과적인지 불명확하다는 점이다. SFT는 모델이 주어진 입력에서 다음 토큰을 예측하도록 손실(예: cross-entropy)을 줄이는 방식으로 작동하므로, 훈련 데이터의 품질·다양성·멀티턴 구조가 최종 정책의 행동 패턴과 일반화 능력에 직접 영향을 미친다.
방법론
전체 접근은 '데이터가 곧 성능'이라는 가정 하에 6단계 파이프라인을 설계하고 각 단계를 독립적으로 ablate하여 최적 설계를 선택하는 방식이다. 각 후보 전략은 세 개의 벤치마크(SWE-Bench Verified-100, OT-TBLite, Terminal-Bench 2.0)에 대해 z-score(전략 정확도에서 해당 단계 평균을 빼고 표준편차로 나눈 값)를 계산하고, 세 벤치의 z-score 평균으로 순위를 매겨 설계 결정을 통일했다.
관련 Figure
파이프라인 다이어그램은 연구의 방법론적 골격을 요약한다. 각 단계가 독립적으로 ablation되어 최적 전략이 선택되었음을 시각적으로 제시하며, 이후 기술된 z-score 기반 순위화 및 필터링(예: >=5 turns)과 직접 연결된다.
논문에서 제안한 6단계 SFT 데이터 파이프라인(소스 태스크 → 믹스 → 필터 → 롤아웃 생성 → 롤아웃 필터 → 최종 레시피)을 단계별 아이콘으로 나타낸 다이어그램이다.
Sankey 도식은 최종 100K SFT 데이터셋이 어떻게 여러 소스에서 비중을 배분하고 필터링 규칙(예: >=5 turns)으로 정제되었는지를 구체적으로 보여준다. 이는 소스 혼합(top-4 권장)과 합성 증강 전략의 설계 근거를 보강한다.
Top-4 소스(예: SWE-Smith, StackExchange SuperUser, IssueTasks, StackExchange Tezos)의 기여가 가중 업샘플링, 생성된 트레이스, 필터링을 거쳐 최종 믹스로 유입되는 과정을 Sankey로 시각화한 플로우 다이어그램이다.
주요 결과
메인 결과는 Qwen3-32B를 OpenThoughts-Agent-v2(100K 트레이스)로 SFT한 모델이 7개 agentic 벤치마크 평균 44.8%를 기록하고, Nemotron-Terminal-32B(40.9%) 대비 +3.9pp 향상했다. 개별 벤치 성능으로는 SWE-Bench Verified에서 54.0%와 Terminal-Bench 2.0에서 26.2%를 보고했고(Nemotron 대비 각각 41.9%→54.0%, 25.1%→26.2%), OT-TBLite 등 다른 벤치에서도 일관되게 이전 공개 데이터셋을 능가했다.
관련 Figure
이 Figure는 동일한 데이터 규모에서 OpenThoughts-Agent 데이터가 SWE-Bench와 Terminal-Bench에서 기존 공개 데이터셋 대비 높은 정확도를 보이며, 특히 데이터 규모 확대에 따라 성능 우위가 유지됨을 시각적으로 확인시킨다. 논문의 '데이터 설계가 성능에 미치는 영향'과 '스케일링 속성' 주장에 직접적으로 근거를 제공한다.
OpenThoughts-Agent SFT 데이터로 SFT한 모델(Qwen3-32B 계열)이 SWE-Bench Verified, Terminal-Bench 2.0 및 전체 평균에서 다른 공개 데이터 기반 모델을 앞서는 스케일링 성능을 보이는 다중 패널 성능 그래프이다.
이 그래프는 데이터 스케일링 실험의 핵심 증거로, 단순 롤아웃 반복(upsampling)이 다양성 병목으로 인해 성능 정체를 초래하고, synthetic augmentation이 동일 토큰/컴퓨트 예산에서 지속적인 성능 향상을 가능하게 함을 정량적으로 뒷받침한다.
세 벤치마크에서 'Method 1: upsample rollouts'와 'Method 3: synthetic augmentation'을 비교한 성능-데이터규모 그래프로, 업샘플링이 31.6K~100K 구간에서 정체하는 반면 합성 증강은 성능이 계속 개선되는 모습을 보인다.
기술 상세
아키텍처 관점에서 모든 SFT 실험은 Qwen3 계열을 기반으로 수행되었다. 기본 SFT 설정(예: Qwen3-8B 실험)은 full-parameter SFT, learning rate 4e-5 with cosine schedule, global batch size 96, 7 epochs, context length 32,768로 설정되었고, 각 10,000-row SFT 실험은 GH200에서 약 160 GPU-hours가 소요되었다. 데이터 파이프라인은 6단계로 구성되며, 각 단계의 후보군을 동일한 10K 샘플 규모로 생성·학습·평가해 순위를 매겼다.
한계점
논문에 명시된 한계는 다음과 같다: (1) RL 실험은 8B 스케일에서만 수행되어 32B급으로의 전이 가능성은 검증되지 않았다. (2) 모든 SFT 실험이 Qwen3 계열을 베이스로 수행되어, base-model 사전학습 기여를 독립적으로 분리하지 않았다. (3) 최대 100K 트레이스 규모까지 실험되어, 수백만 트레이스 수준으로의 확장성 및 동일한 추세의 유지 여부는 미검증이다.
실무 활용
데이터 파이프라인과 100K SFT 데이터가 공개되어 있어, 연구자·엔지니어가 에이전트형 모델의 SFT 파이프라인을 재현하거나 자체 소스에 적용해 성능을 검증할 수 있다. 다만 원문은 공개 아티팩트 접속처(openthoughts.ai)를 제공하므로 실무 적용에 필요한 데이터·파이프라인 코드를 확인할 수 있다.
- 에이전트용 SFT 데이터 파이프라인을 재현해 자사 모델(Qwen 계열 또는 유사 아키텍처)에 적용
- 작업 소스(예: GitHub issues, StackExchange) 혼합 전략을 평가해 특정 도메인(SWE, infra) 성능 최적화
- 롤아웃 필터링('>=5 turns')과 합성 증강을 결합해 제한된 태스크 소스의 다양성 병목 해소
- 8B급 모델에 대해 SFT 후 RLOO 기반 RL로 추가 성능 향상을 실험
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Supervised Fine-Tuning (SFT)
- — 사전학습된 언어모델을 task별 (task, trajectory) 쌍으로 추가 학습시키는 절차. 이 논문에서는 agentic 행동(멀티턴 툴 사용/터미널 조작) 궤적을 이용해 Qwen3 계열 모델을 SFT하여 downstream 에이전트 벤치마크 성능을 끌어올리는 데 사용된다.
- Teacher Model
- — 데이터 생성 단계에서 행동 궤적(rollout)을 생성하는 고성능 LLM. 본문에서는 GLM-4.7-AWQ 등 특정 모델이 교사로 사용되며, 교사의 성능과 특성이 최종 SFT 모델에 미치는 영향이 실험으로 검증되었다.
- Rollout Filtering
- — 생성된 에이전트 궤적에서 품질이 낮은 트레이스(타임아웃, 서브에이전트 호출, 짧은 턴수 등)를 제거하는 절차. 논문에서는 '>=5 turns' 필터가 downstream 성능 향상에 유의미한 기여를 보였다.
- Synthetic Augmentation
- — 기존 task description을 LLM 기반의 instruction-rewriting으로 다양한 표면형으로 늘리는 방법. Tezos 소스의 997문제를 약 21K개의 고유 표면형으로 확장하여 데이터 다양성 병목을 해소했다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.