AgentDS 기술 보고서: 도메인 특화 데이터 과학에서의 인간-AI 협업의 미래 벤치마킹

데이터 과학의 자동화가 가속화되고 있지만, 특정 산업 도메인의 복잡한 문제를 해결하는 데 있어 AI의 한계를 명확히 짚어줍니다. 단순한 코드 생성을 넘어 도메인 지식 결합과 전략적 의사결정에서 인간의 역할이 왜 여전히 필수적인지 증명하며, 미래의 AI가 나아가야 할 방향으로 완전 자동화가 아닌 인간-AI 협업을 제시합니다.

데이터 과학은 단순히 코드를 작성하는 것을 넘어, 비즈니스 맥락을 이해하고 데이터 간의 숨겨진 관계인 Embedding을 파악하여 최적의 가중치를 찾아가는 과정이다. 기존의 AI 에이전트는 대규모 언어 모델의 다음 토큰 예측 능력을 기반으로 일반적인 파이프라인을 생성하는 데는 능숙하지만, 특정 산업의 특수한 제약 조건이나 데이터의 의미론적 맥락을 반영하는 데 한계가 있다.

이 논문은 AI가 무엇을 할지는 알지만 왜 그렇게 해야 하는지에 대한 도메인 추론 능력이 부족하다는 점에 주목한다. 예를 들어 의료 데이터에서 특정 수치가 정상 범위를 벗어났을 때 이것이 단순한 노이즈인지 아니면 중요한 임상적 징후인지를 판단하는 것은 기초적인 데이터 분포 학습만으로는 부족하며, 외부의 전문 지식 체계와 연결된 깊은 추론이 필요하다.

결과적으로 AgentDS는 AI가 표준적인 머신러닝 워크플로우를 반복하는 수준을 넘어, 복잡한 멀티모달 신호를 통합하고 인간 전문가처럼 전략적인 가설을 세워 검증할 수 있는지를 테스트한다. 이는 AI가 단순한 도구를 넘어 진정한 협업 파트너로 진화하기 위해 극복해야 할 지점을 명확히 보여준다.

AgentDS 벤치마크는 도메인 연구, 데이터 생성, 성능 하한/상한 설정, 문서화 및 검증의 4단계 큐레이션 파이프라인을 통해 구축됐다. 특히 데이터 생성 단계에서는 특정 잠재 변수를 이미지나 텍스트 같은 추가 모달리티에 임베딩하여, 단순한 정형 데이터 분석만으로는 도달할 수 없는 성능 상한선을 설정했다.

평가 프레임워크는 각 챌린지별로 특화된 메트릭을 사용하며, 서로 다른 척도를 비교하기 위해 분위수 점수를 도입했다. 참가자의 순위 r_i와 전체 참가자 수 n이 주어질 때 (n - r_i) / (n - 1)을 계산한다. [순위와 참가자 수 입력] → [순위 차이를 전체 범위로 나눔] → [0~1 사이의 결과값 도출] → [해당 값이 1에 가까울수록 다른 참가자들보다 상대적으로 우수한 성능을 보였음을 나타냄]

실험군으로는 인간-AI 협업 팀들과 더불어 두 가지 자율 AI 베이스라인을 설정했다. 첫 번째는 GPT-4o를 이용한 직접 프롬프팅 방식이며, 두 번째는 Claude Code를 이용해 10분의 시간 제한 내에서 스스로 코드를 수정하고 실행하는 자율 코딩 에이전트 방식이다.

전체 순위에서 GPT-4o 베이스라인은 0.143의 분위수 점수를 기록하며 29개 팀 중 17위에 머물렀고, 이는 참가자 중앙값인 0.156보다 낮은 수치다. 반면 자율 코딩 에이전트인 Claude Code는 0.458점을 기록하며 10위에 올라 상대적으로 우수한 성능을 보였으나, 여전히 최상위권 인간-AI 협업 팀들의 점수에는 미치지 못했다.

도메인별 분석 결과, AI 베이스라인은 소매 금융과 커머스 분야에서 특히 취약한 모습을 보였다. GPT-4o는 소매 금융에서 0.000점을 기록했는데, 이는 도메인 특유의 불균형 데이터 처리나 비즈니스 규칙 적용에 실패했음을 시사한다. Claude Code는 제조(0.573)와 식품 생산(0.532)에서 강점을 보였지만 모든 도메인에서 상위 25% 이내에 진입하는 데는 실패했다.

정성적 분석에 따르면, 인간 전문가들은 AI가 제안한 복잡한 피처 엔지니어링이 오히려 검증 점수를 낮추는 경우 이를 필터링하거나, 의료 지침 같은 외부 지식을 활용해 모델의 일반화 성능을 높이는 결정을 내렸다. 이러한 전략적 문제 진단과 도메인 지식 주입이 인간-AI 협업 팀이 자율 AI를 압도하게 만든 핵심 요인으로 분석됐다.

AgentDS는 단순한 정형 데이터 벤치마크를 넘어 이미지, 텍스트, JSON, PDF 등 다양한 모달리티가 결합된 멀티모달 데이터 과학 환경을 제공한다. 이는 실제 산업 현장에서 데이터 과학자가 마주하는 복잡성을 모사하기 위함이며, 각 도메인별로 2~3개의 챌린지를 배치하여 모델의 범용적인 도메인 적응 능력을 평가한다.

데이터 생성 과정에서 도메인 제약 조건을 명시적으로 설계에 반영했다. 예를 들어 보험 도메인에서는 지붕 이미지 데이터에 숨겨진 잠재 변수가 보험료 산정의 핵심 요소가 되도록 설정하여, 이미지를 해석하지 못하는 일반적인 정형 데이터 파이프라인은 성능의 한계에 부딪히도록 설계했다.

평가에 사용된 분위수 점수 방식은 챌린지 간의 난이도 차이와 메트릭의 이질성을 극복하기 위한 장치다. 이를 통해 특정 도메인에서만 압도적인 성능을 내는 모델보다 여러 도메인에서 고르게 상위권을 유지하는 모델이 높은 최종 점수를 받도록 유도했다.

자율 에이전트 베이스라인인 Claude Code는 ReAct 패턴과 유사하게 도구 사용과 실행 결과 반영 루프를 10분간 반복한다. 이는 단순 제로샷 프롬프팅보다 월등한 성능을 보였지만, 도메인 지식이 필요한 피처 엔지니어링 단계에서 일반적인 패턴에 의존하는 한계를 보였다.

합성 데이터를 사용했기 때문에 실제 산업 데이터의 무작위성과 노이즈를 완벽하게 재현하지 못했을 수 있습니다. 또한 참가자 규모가 29개 팀으로 제한적이어서 통계적 일반화에 한계가 있을 수 있으며, AI 기술의 발전 속도를 고려할 때 현재의 베이스라인 성능이 미래 모델의 잠재력을 완전히 대변하지 못할 수 있습니다.