DSGym: 데이터 과학 에이전트의 평가와 학습을 위한 통합 프레임워크

섹션별 상세

01

DSGym은 데이터 과학 에이전트가 안전하게 코드를 실행할 수 있도록 사전 설치된 종속성을 포함한 컨테이너 환경을 실시간으로 할당한다. 모든 벤치마크는 데이터 파일, 쿼리 프롬프트, 평가 지표가 포함된 통합 JSON 인터페이스로 추상화되어 새로운 작업이나 도구의 추가가 용이하다.

전형적인 과학적 발견 프로세스와 DSGym의 구성 요소를 비교한 개요도이다. — Diagram왼쪽은 데이터 준비부터 보고서 생성까지의 일반적인 과학 연구 과정을 보여주며, 오른쪽은 DSGym이 10개 이상의 도메인과 파일 타입을 지원하며 평가와 학습을 통합하는 구조임을 설명한다. DSGym이 특히 데이터 기반 조사 단계에 집중하고 있음을 시각화한다.

02

모델이 학습 데이터에 포함된 벤치마크 정답을 단순히 기억해내는 암기 문제를 해결하기 위해 품질 필터링을 적용했다. 데이터 파일에 접근하지 않고 프롬프트만으로 풀 수 있는 '지름길' 문제를 제거하여 DAEval-Verified, QRData-Verified 등 정제된 데이터셋을 구축했다.

데이터 접근 여부에 따른 모델별 정확도 비교 차트이다. — ChartQRData와 DAEval 벤치마크에서 데이터 파일이 있을 때와 없을 때의 성능 차이를 보여준다. 데이터 없이도 상당한 정확도가 나오는 것을 통해 기존 벤치마크의 암기 문제를 증명하며, DSGym의 필터링 필요성을 뒷받침한다.

03

생물정보학 논문에서 추출한 90개의 DSBio 작업과 92개의 Kaggle 경진대회를 포함한 DSPredict 스위트를 새롭게 도입했다. 분석 결과, 일반적인 데이터 분석 작업에서는 통계 지식 부족이나 계획 오류가 주된 실패 원인이었으나, 과학 분석 작업에서는 85-96%의 오류가 도메인 지식을 실제 데이터에 적용하지 못하는 도메인 그라운딩 문제에서 발생했다.

과학 분석 작업과 Kaggle 작업의 구축 파이프라인을 보여주는 다이어그램이다. — Diagram생물정보학 논문에서 쿼리를 추출하고 전문가 검토를 거치는 과정과 Kaggle 경진대회를 크롤링하고 필터링하여 난이도별로 분류하는 과정을 상세히 기술한다. DSBio와 DSPredict 데이터셋이 어떤 엄격한 기준을 통해 생성되었는지 보여준다.

일반 분석 작업과 과학 분석 작업에서의 주요 오류 유형 분포를 나타낸 파이 차트이다. — Chart일반 작업에서는 통계 지식과 계획 오류가 골고루 나타나지만, 과학 분석 작업(DSBio)에서는 도메인 그라운딩 오류가 85% 이상으로 압도적임을 보여준다. 이는 모델이 전문 지식을 실제 데이터에 적용하는 데 큰 한계가 있음을 시사한다.

04

DSGym의 데이터 생성 파이프라인을 통해 3,700개의 합성 쿼리와 궤적을 생성하고, 품질 필터링을 거쳐 2,000개의 고품질 데이터를 확보했다. 이를 통해 학습된 Qwen3-4B-DSGym-SFT 모델은 훨씬 큰 규모의 모델들과 대등한 성능을 보여주며 데이터 과학 특화 학습의 효율성을 증명했다.

05

DSPredict 평가 결과, GPT-5.1이나 Claude 4.5 같은 최상위 모델들은 기능적인 파이프라인 구축에는 능숙하지만 실제 인간 전문가의 성과를 뛰어넘는 데는 여전히 어려움을 겪고 있다. 모델들이 복잡한 모델링 전략보다는 단순한 베이스라인을 선택하는 경향이 있어, 끈기 있는 튜닝과 검증 능력이 향후 개선의 핵심 과제로 나타났다.

용어 해설

암기 격차(Memorization Gap): — LLM이 학습 과정에서 벤치마크 데이터를 미리 학습하여, 실제 데이터 분석 능력 없이도 정답을 맞히는 현상이다. 이는 모델의 진정한 추론 능력을 평가하는 데 방해가 되며, DSGym은 이를 방지하기 위해 데이터 접근 없이 풀 수 있는 문제를 필터링한다.
도메인 그라운딩(Domain Grounding): — 모델이 특정 전문 분야(예: 생물정보학)의 지식과 원리를 실제 데이터 분석 과정에 정확히 결합하는 능력이다. 과학적 분석 작업에서 모델이 단순히 통계적 패턴을 찾는 것을 넘어 전문 지식을 바탕으로 추론하는 데 필수적이다.
궤적 생성(Trajectory Generation): — 데이터 과학 에이전트가 문제를 해결하기 위해 수행하는 코드 작성, 실행, 결과 해석의 일련의 과정을 기록하는 기법이다. 이렇게 생성된 고품질의 해결 경로는 모델의 지도 학습(SFT) 데이터로 활용되어 성능을 높이는 데 기여한다.

기술

DSGym
Qwen3
GPT-5.1
Claude 4.5
Docker

활용 사례

자동화된 데이터 분석 보고서 생성
엔드투엔드 머신러닝 파이프라인 구축 에이전트
과학 논문 기반 데이터 분석 워크플로 검증

언급된 리소스

논문DSGym: A Unified Framework for Evaluating and Training Data Science Agents

GitHubDSGym GitHub Repository