CausalDS: 데이터 사이언스 에이전트의 인과 추론 벤치마크

실세계 데이터 과학에서는 자연어로 기술된 맥락을 해석하고 그래프적 인과 구조를 유도한 뒤 관찰 데이터로부터 개입 효과를 추정하거나 정당하게 답을 거부할 수 있어야 한다. CausalDS는 이 모든 과정을 하나의 장면(scene) 단위로 합쳐 숨겨진 SCM과 관찰 데이터, 검증된 이야기문장을 제공하여 모델이 실제 데이터 과학 흐름에서 요구되는 상호작용 능력을 시험한다. 이러한 통합적 평가는 기존의 기호적 인과 벤치마크나 코드 중심 데이터 분석 벤치마크가 따로떨어져 테스트하던 역량을 동시에 측정한다.

인과 데이터 과학에서는 자연어로 제시된 도메인 설명에서 암묵적 인과 그래프를 추론하고 그 그래프에 따라 어떤 인과량이 관찰 분포로부터 식별 가능한지를 판정한 뒤 식별가능하면 수치 추정과 불확실성 표기를, 비식별이면 거부를 선택해야 한다. 기존 벤치마크는 그래프 수준의 기호적 질의나 코드 기반 데이터 분석을 분리해 평가하는 경향이 있어 이들 역량의 상호작용을 포착하지 못했다. CausalDS의 핵심 직관은 이 세 영역을 하나의 장면 단위로 합쳐 상호작용을 시험하면 실무적 인과 분석의 완전성을 평가할 수 있다는 점이다.

장면 생성 파이프라인은 다단계로 이루어져 있다. 먼저 모티프 기반의 DAG를 샘플링하고 필요하면 앵커-기반 그래프 접합(anchor-based grafting)으로 보조 모티프를 연결해 복합 구조를 만든다. 다음으로 각 노드에 대해 연속형·이진형 메커니즘 프로필을 선택해 SCM을 인스턴스화하고 몬테카를로 방식으로 관측 데이터를 합성한다.

실험은 953장면 규모의 데이터셋에서 현실적 구성(realistic-composition) 시험 100장면을 뽑아 수행되었고, 시험별로 clean/proxy/proxy_hard 세 가지 관측 변형이 포함되었다. 여섯 개 모델을 평가했으며 Claude Opus 4.8이 CausalDSScore 0.278로 선두를 차지했고 Pass Rate 82.4%와 SNR 0.566을 기록해 불확실성 표기와 거부 판단에서 강한 성능을 보였다. 다른 모델들은 도구 호출 빈도, 토큰 사용량, 거부율에서 큰 차이를 보였고 특히 관측 난이도가 증가할수록 평균 정규화 오차와 구간 커버리지(ATE 95% 구간 커버리지는 모델별로 20.0%–71.4% 범위로 나타남)가 악화되어 불확실성 보정과 거부 전략이 성능을 좌우했다.

그래프 샘플링은 체인·포크·혼란(confounding) 같은 정형 모티프 카탈로그에서 시작해 앵커 기반 접합으로 더 큰 구조를 구성한다. 각 장면은 continuous_scm_profile과 binary_scm_profile 중 하나씩을 채택하며 프로필 레지스트리는 실험적·경험적 함수 형태를 혼합해 다양성을 보장한다. 노이즈는 연속형에서 가법, 이진형에서는 단일 링크로 유지하여 몬테카를로 기반 효과 평가에 적합하도록 설계되었다.

논문에서 명시된 한계로는 합성 장면 구성의 분포와 현실 데이터의 편차 가능성이 있으며, 기존 논문·데이터셋 기반 사례를 대체하는 완전 합성이므로 여전히 현실성의 경계가 존재한다. 관측 모델은 개념적 DAG를 변경하지 않도록 설계되어 proximal identification의 문맥에서 추가 가정을 요구하는 문제를 다루지 못한다. 실험 결과에서도 오픈 가중치 모델의 반복성 변동과 일부 노이즈 심한 장면에서의 추정 폭발 현상이 보고되어 견고성 시험의 추가 확장이 필요하다.