AgenticDataBench: 데이터 에이전트를 위한 세부 기술 라벨 기반 종합 벤치마크

현실 데이터에서 실행 가능한 데이터 사이언스 작업을 자동화하려는 시도가 늘어나면서 LLM 기반 데이터 에이전트의 성능을 객관적으로 비교할 벤치마크 수요가 커졌다. AgenticDataBench는 다양한 수직 도메인과 세부 스킬 레이블을 제공해 에이전트의 실제 업무 역량을 세밀하게 측정할 수 있도록 만든다. 이 벤치마크는 데이터가 부족한 도메인에는 LLM 기반 태스크 생성으로 항목을 보완하고, B2B 실사례를 포함해 실무 적용 가능성을 반영한 점에서 실용적 기준을 제공한다.

데이터 사이언스 업무는 다단계의 연속된 처리(데이터 수집·정제·탐색·모델링·보고)를 요구하며, 각 단계는 서로 다른 기술적 스킬을 필요로 한다. 기존 평가 체계는 종종 단일 작업 또는 좁은 도메인에 집중해 에이전트가 실제 업무 흐름에서 어떤 스킬 조합을 잘 수행하는지 분해해서 파악하기 어려웠다. 이 논문은 작업을 스킬 단위로 분해하고 스킬 조합의 계층적 구조를 반영해 에이전트 성능을 더 세밀하게 측정해야 한다는 관점에서 출발했다.

스킬 정렬 계층적 군집화는 대규모 작업 해법에서 빈번하게 등장하는 조작과 절차를 추출해 이들을 상위·중간·하위 수준의 스킬로 조직한다. 이 접근은 태스크가 단일 평가지표로 환원될 수 없을 때 유용하며, 각 스킬에 대한 정답(label)을 마련하면 에이전트가 어느 단계에서 실패하는지 혹은 어떤 스킬 조합에서 강점을 보이는지 명확히 드러난다. 따라서 스킬 기반 라벨링은 에이전트의 내부 역량 분해와 개선 우선순위 도출에 직접적으로 연결된다.

LLM 기반 태스크 생성은 스킬 조합을 입력으로 받아 현실적인 워크플로와 대응 솔루션을 생성하는 방식으로 작동한다. 이 방식은 어떤 도메인에서 실제 데이터가 부족할 때도 스킬 커버리지를 확장할 수 있게 해 벤치마크의 포괄성을 확보한다. 결과적으로 이 체계는 에이전트의 전반적 유틸리티와 각 스킬별 성능을 동시에 평가할 수 있게 해 현장 적용성을 높인다.

전체 접근은 네 가지 주요 단계로 구성됐다. 첫째, 15개 수직 도메인에서 현실 데이터셋과 태스크-솔루션 쌍을 수집해 초기 데이터베이스를 구축했다. 둘째, 대규모 태스크 해결 사례(예: Stack Overflow)에서 반복되는 조작과 절차를 추출해 스킬 후보군을 만들고, 이들을 계층적 군집화로 정렬해 스킬 계층구조를 확정했다.

셋째, 실제 비즈니스 태스크의 경우 스킬 구성의 다양성을 최대화하는 방식으로 태스크-솔루션 쌍을 선택해 실무 커버리지를 보장했다. 넷째, 도메인별로 현실 태스크가 부족한 영역에는 LLM을 이용한 체계적 태스크 생성 절차를 적용해 워크플로와 솔루션을 합성하고, 합성된 항목은 품질 기준에 따라 선별했다. 최종적으로 모든 태스크는 세부 스킬 라벨이 부착된 형태로 정리되어 에이전트 평가에 사용되었다.

벤치마크의 정량적 커버리지는 포함된 스킬의 수로 측정되었고, 평가 파이프라인은 에이전트가 제출한 솔루션을 태스크별 정답과 매칭해 스킬별 성공률을 산출하는 방식으로 설계됐다. 평가 과정에서 동일한 태스크에 대해 여러 해법이 존재하면 다중 솔루션을 허용해 에이전트의 다양한 전략을 포착했다. 모든 데이터와 평가 코드는 오픈소스로 공개되어 재현 가능성을 확보했다.

논문은 벤치마크를 사용해 최신 LLM 기반 데이터 에이전트들을 평가했고, 에이전트별로 스킬 수준에서 성능 편차가 존재함이 관찰되었다. 평가 결과는 단일 종합 점수로 감추어지는 성능 차이를 세부 스킬 항목을 통해 드러냈고, 일부 에이전트는 데이터 전처리와 같은 특정 운영 패턴에서 강점을 보인 반면 다른 에이전트는 도메인 특화 태스크에서 상대적으로 약했다. 더불어 오픈된 테스트베드와 주석화된 벤치마크는 후속 연구자들이 동일한 설정에서 추가 실험을 수행할 수 있는 기반을 제공했다.

벤치마크 구조는 태스크-솔루션 쌍과 각 태스크에 대응하는 스킬 라벨의 집합으로 구성됐다. 각 태스크는 입력 데이터, 목표 서술, 기대 출력 형태, 그리고 스킬 어노테이션을 포함해 에이전트가 수행해야 할 세부 요구사항을 명확히 했다. 스킬 계층구조는 빈도 기반 특징 추출과 계층적 군집화 알고리즘을 결합해 생성되었으며, 상위 노드는 광범위한 운영 패턴을, 하위 노드는 구체적 조작을 대표한다.

스킬 추출은 대규모 태스크 해결 로그에서 반복적으로 등장하는 조작을 식별하는 방식으로 진행되었고, 식별된 조작은 텍스트 패턴과 메타데이터를 결합해 정규화했다. LLM 기반 태스크 생성 파이프라인은 스킬 조합을 입력으로 받아 워크플로와 솔루션 샘플을 출력하며, 출력된 항목은 품질 필터링을 거쳐 벤치마크에 통합되었다. 평가 파이프라인은 에이전트 응답을 정답 세트와 비교해 스킬별 성공률을 계산하는 자동화된 채점 절차로 구성되어 일관된 비교를 가능하게 했다.

Prior work 대비 차별점은 태스크 수준의 단일 지표가 아니라 스킬 수준의 세부 라벨을 중심으로 벤치마크 커버리지를 정량화했다는 점이다. 이 접근은 에이전트의 실패 원인을 구체적 스킬로 환원해 개선 지점을 직접적으로 도출할 수 있게 했다. 구현상 세부 사항과 데이터는 공개 저장소에 정리되어 있어 연구자들이 동일한 파이프라인을 재현하거나 확장할 수 있다.