본문으로 건너뛰기
Hugging Face Blog조회 31

데이터 사이언티스트처럼 사고하는 에이전트 구축: 재사용 가능한 도구 생성으로 DABStep 1위 달성

NVIDIA KGMON 팀이 NeMo Agent Toolkit을 활용해 복잡한 정형 데이터 분석을 수행하는 3단계 에이전트 아키텍처를 공개하고 DABStep 벤치마크에서 SOTA를 달성했다.

섹션별 상세

01
NVIDIA KGMON Data Explorer는 NeMo Agent Toolkit을 기반으로 구축된 정형 데이터 분석 특화 자율 에이전트이다.
02
시스템은 오픈 엔드 탐색적 데이터 분석(EDA)과 다단계 규칙 기반 정형 데이터 QA라는 두 가지 핵심 워크플로를 지원한다.
03
EDA 루프에서는 ReAct 에이전트가 Jupyter Notebook 도구를 조작하며, 생성된 시각화 결과물은 VLM을 통해 텍스트 분석으로 변환되어 에이전트의 다음 판단에 반영된다.
04
DABStep 벤치마크 공략을 위한 3단계 접근법 중 첫 번째인 학습 단계(Phase 1)에서는 고성능 모델이 여러 과제를 풀며 공통 로직을 추출하고 이를 helper.py라는 재사용 가능한 함수 라이브러리로 캡슐화한다.
05
두 번째 단계인 고속 추론(Phase 2)에서는 가벼운 모델이 미리 구축된 helper.py의 함수 시그니처만 참조하여 매우 적은 토큰 소모와 짧은 지연 시간으로 정답을 도출한다.
06
세 번째 단계인 오프라인 성찰(Phase 3)에서는 무거운 모델이 에이전트의 실행 결과와 일관성을 검토하여 얻은 인사이트를 다음 추론의 시스템 프롬프트에 주입하는 방식으로 성능을 지속적으로 개선한다.
07
벤치마크 결과, NVIDIA의 방식은 고난도 과제에서 89.95점을 기록하여 Claude Code(66.93점)를 크게 앞질렀으며 작업당 소요 시간은 10분에서 20초로 단축됐다.
NVIDIA KGMON Data Explorer와 기존 모델들의 DABStep 벤치마크 성능 비교표이다.
ChartNVIDIA의 아키텍처가 고난도(Hard) 과제에서 89.95점을 기록하여 Claude Code(66.93점) 및 Google AI의 DS-STAR(45.24점)를 압도함을 보여준다. 특히 작업당 소요 시간이 10분에서 20초로 단축되고 코드 길이도 획기적으로 줄어들었음을 수치로 증명한다.

용어 해설

다단계 추론 데이터 에이전트 벤치마크(DABStep)
금융 결제 분야의 450개 과제로 구성된 데이터 분석 에이전트 평가 지표이다. 단순 쿼리를 넘어 문서 읽기, 코드 생성, 데이터 교차 참조 등 복잡한 다단계 추론 능력을 측정하며 84%가 고난도 과제로 구성되어 있다.
추론 및 행동 프롬프팅(ReAct)
모델이 추론(Reasoning) 과정과 행동(Acting) 단계를 번갈아 수행하며 문제를 해결하는 기법이다. 에이전트가 외부 도구를 사용하고 그 결과를 바탕으로 다음 행동을 결정하는 자율적 워크플로의 핵심 구조이다.
시각-언어 모델(VLM)
이미지와 텍스트를 동시에 이해하고 처리할 수 있는 멀티모달 AI 모델이다. 이 아키텍처에서는 에이전트가 생성한 데이터 시각화 차트를 분석하여 텍스트 형태의 인사이트로 변환해주는 역할을 수행한다.
탐색적 데이터 분석(EDA)
데이터의 주요 특성을 파악하기 위해 시각화나 통계적 요약 기법을 사용하여 데이터를 조사하는 과정이다. 에이전트가 데이터셋의 구조와 패턴을 스스로 파악하여 분석 방향을 설정하는 기초 단계이다.
도구 호출(Tool Calling)
LLM이 문제 해결에 필요한 특정 외부 함수나 API를 식별하고 실행 인자를 생성하는 능력이다. 파이썬 인터프리터나 검색기 같은 도구를 에이전트가 직접 조작하여 정적 지식의 한계를 극복하게 한다.

기술

  • NVIDIA NeMo Agent Toolkit
  • Claude 3.5 Opus
  • Claude 3.5 Haiku
  • Python
  • Jupyter Notebook
  • VLM

활용 사례

  • 자동화된 탐색적 데이터 분석(EDA)
  • 금융 데이터 다단계 질의응답
  • 예측 모델링 및 포캐스팅
  • 자율 데이터 분석 에이전트 구축

언급된 리소스

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 03. 13.수집 2026. 03. 13.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.