CausalDS: 데이터 사이언스 에이전트의 인과 추론 벤치마크

왜 중요한가

실세계 데이터 과학에서는 자연어로 기술된 맥락을 해석하고 그래프적 인과 구조를 유도한 뒤 관찰 데이터로부터 개입 효과를 추정하거나 정당하게 답을 거부할 수 있어야 한다. CausalDS는 이 모든 과정을 하나의 장면(scene) 단위로 합쳐 숨겨진 SCM과 관찰 데이터, 검증된 이야기문장을 제공하여 모델이 실제 데이터 과학 흐름에서 요구되는 상호작용 능력을 시험한다. 이러한 통합적 평가는 기존의 기호적 인과 벤치마크나 코드 중심 데이터 분석 벤치마크가 따로떨어져 테스트하던 역량을 동시에 측정한다.

핵심 기여

SCM 기반 장면 생성과 경험적 축 기준의 구성

랜덤으로 샘플한 DAG에서 구조방정식을 인스턴스화해 관측 데이터를 합성하고, 변수 유형·그래프 구조·식별 가능성·메커니즘 프로필·관측 복잡성 같은 구성 축을 경험적 분포에 맞춰 제어해 현실성과 새로움을 동시에 확보했다. 장면 생성은 그래프 샘플링, SCM 인스턴스화, 관측 모델 적용, 변수 이름 매핑, 자연어 이야기 생성, 과제와 정답 계산의 순서로 실행된다. 대규모 실행에서 블루프린트 구성으로 축별 분포를 지정해 다양한 시험지를 만들 수 있다.

그래프-정합 자유형 자연어 서술과 매핑 감사 루프

추상 노드에 현실적 변수명을 매핑하고 LLM을 이용해 도메인에 맞는 이야기 문장을 생성하며 매퍼-감사자 반복으로 명명과 서술이 숨겨진 그래프와 일치하도록 보장했다. CauseNet 시딩 옵션을 통해 일부 노드에 실제 쌍을 주입하고 나머지 변수를 이에 맞춰 생성해 현실적 다양성을 도입했다. 이 과정에서 변숫값과 인과 간의 의미적 괴리가 발생하지 않도록 검증 루틴을 운용했다.

관측층 설계로 측정 노이즈와 추정 난이도 분리

개념적 SCM과 공개 데이터 뷰를 분리해 일부 개념 변수를 측정 번들로 대체하거나 은닉함으로써 식별성은 보존하되 수치적 추정 난이도를 조절했다. 측정 번들은 각각 단일 개념적 부모를 가지므로 새로운 교란이나 도구를 생성하지 않으며 proximal inference와 구별되는 역할만 수행한다. 번들별 Fisher 정보 검사를 통해 지나치게 왜곡된 관측을 배제하고 복수의 관측 변이( clean, proxy, proxy_hard )를 제공해 난이도별 성능 차이를 평가했다.

Pearl의 사다리 전 범위를 포함한 과제 집합과 거부 채점

각 장면에서 Rung 1(관찰적), Rung 2(개입), Rung 3(반사실) 과제를 모두 도출해 예측·식별·효과추정·편향진단·반사실 분석을 포함시켰다. 비식별인 경우 올바른 행동을 거부로 간주하고 채점을 결정적으로 수행하도록 설계해 모델의 거부 판단 능력을 측정했다. 채점은 파일 기반 제출물을 파싱해 태스크별 메트릭(RMSE, Brier, interval score 등)으로 계산하며 비식별 상황은 binary routing으로 처리한다.

파일 기반 에이전트 평가와 효율성 신호 기록

mini-swe-agent 같은 경량 에이전트 하네스에서 모델이 쉘 명령으로 코드를 실행하고 파일을 읽고 쓰도록 하여 실제 도구 사용과 코드 실행 흐름을 재현했다. 도구 호출 횟수와 토큰 사용량을 함께 기록해 추론 품질과 비용·효율 간의 트레이드오프를 분석할 수 있게 했다. 대회형 요약을 위해 PassRate, SNR, Med. F1-Loss 등 복합 지표와 단일 스칼라 CausalDSScore를 정의했다.

핵심 아이디어 이해하기

인과 데이터 과학에서는 자연어로 제시된 도메인 설명에서 암묵적 인과 그래프를 추론하고 그 그래프에 따라 어떤 인과량이 관찰 분포로부터 식별 가능한지를 판정한 뒤 식별가능하면 수치 추정과 불확실성 표기를, 비식별이면 거부를 선택해야 한다. 기존 벤치마크는 그래프 수준의 기호적 질의나 코드 기반 데이터 분석을 분리해 평가하는 경향이 있어 이들 역량의 상호작용을 포착하지 못했다. CausalDS의 핵심 직관은 이 세 영역을 하나의 장면 단위로 합쳐 상호작용을 시험하면 실무적 인과 분석의 완전성을 평가할 수 있다는 점이다.

방법론

장면 생성 파이프라인은 다단계로 이루어져 있다. 먼저 모티프 기반의 DAG를 샘플링하고 필요하면 앵커-기반 그래프 접합(anchor-based grafting)으로 보조 모티프를 연결해 복합 구조를 만든다. 다음으로 각 노드에 대해 연속형·이진형 메커니즘 프로필을 선택해 SCM을 인스턴스화하고 몬테카를로 방식으로 관측 데이터를 합성한다.

주요 결과

실험은 953장면 규모의 데이터셋에서 현실적 구성(realistic-composition) 시험 100장면을 뽑아 수행되었고, 시험별로 clean/proxy/proxy_hard 세 가지 관측 변형이 포함되었다. 여섯 개 모델을 평가했으며 Claude Opus 4.8이 CausalDSScore 0.278로 선두를 차지했고 Pass Rate 82.4%와 SNR 0.566을 기록해 불확실성 표기와 거부 판단에서 강한 성능을 보였다. 다른 모델들은 도구 호출 빈도, 토큰 사용량, 거부율에서 큰 차이를 보였고 특히 관측 난이도가 증가할수록 평균 정규화 오차와 구간 커버리지(ATE 95% 구간 커버리지는 모델별로 20.0%–71.4% 범위로 나타남)가 악화되어 불확실성 보정과 거부 전략이 성능을 좌우했다.

기술 상세

그래프 샘플링은 체인·포크·혼란(confounding) 같은 정형 모티프 카탈로그에서 시작해 앵커 기반 접합으로 더 큰 구조를 구성한다. 각 장면은 continuous_scm_profile과 binary_scm_profile 중 하나씩을 채택하며 프로필 레지스트리는 실험적·경험적 함수 형태를 혼합해 다양성을 보장한다. 노이즈는 연속형에서 가법, 이진형에서는 단일 링크로 유지하여 몬테카를로 기반 효과 평가에 적합하도록 설계되었다.

한계점

논문에서 명시된 한계로는 합성 장면 구성의 분포와 현실 데이터의 편차 가능성이 있으며, 기존 논문·데이터셋 기반 사례를 대체하는 완전 합성이므로 여전히 현실성의 경계가 존재한다. 관측 모델은 개념적 DAG를 변경하지 않도록 설계되어 proximal identification의 문맥에서 추가 가정을 요구하는 문제를 다루지 못한다. 실험 결과에서도 오픈 가중치 모델의 반복성 변동과 일부 노이즈 심한 장면에서의 추정 폭발 현상이 보고되어 견고성 시험의 추가 확장이 필요하다.

실무 활용

CausalDS는 연구자와 엔지니어가 인과 분석 에이전트의 전반적 역량을 재현 가능한 환경에서 평가할 근거를 제공한다. 공개 저장소와 파일 형식을 통해 실제 데이터 과학 워크플로를 모사하므로 모델 개발 주기에서 식별성 검사, 효과 추정, 구간 불확실성 검증, 거부 정책 시험에 바로 활용할 수 있다. GitHub 리포지토리(https://github.com/andleb/causalds)가 있어 실험 재현과 확장이 가능하다.

프러덕트 팀이 LLM 기반 데이터 분석 파이프라인에 투입하기 전에 모델의 거부 경향과 구간 보정 성능을 검증하는 자동화된 검증 테스트로 활용할 수 있다. 이 활용은 파일 기반 인터페이스로 도구 호출 횟수와 토큰 비용을 함께 측정해 운영 비용 추정까지 가능하게 한다.
연구자는 새로운 인과 식별 알고리즘이나 불확실성 보정 방법을 CausalDS의 식별-게이트드 태스크에서 비교 실험하여 동일한 숨겨진 SCM 기준에서 성능을 정량적으로 평가할 수 있다. 이 절차는 동일 장면의 여러 관측 변형(clean/proxy/proxy_hard)을 사용해 수치적 견고성을 시험할 수 있게 한다.
교육과 워크숍에서 인과 추론 원리와 식별 조건을 실습할 수 있는 문제 세트로 사용할 수 있다. 학습자는 서술 읽기, 그래프 유추, 코드 실행, 정답 파일 제출의 전 과정을 통해 이론과 실제 추정 차이를 체험할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

structural causal model(구조적 인과 모델)observation model(관측 모델)identifiability(식별가능성)ATE(평균처치효과)abstention(거부 판단)agentic data-science(에이전트형 데이터 과학)

용어 해설

구조적 인과 모델(Structural Causal Model): — 변수들 간의 인과 관계를 방향 그래프로 표현하고 각 노드에 구조방정식을 할당해 관찰 분포와 개입·반사실량을 유도하는 확률모델로서, 인과 추론의 식별가능성과 효과 추정의 수학적 근거를 제공한다.
관측 모델(Observation Model): — 개념적 변수와 공개 데이터 사이의 측정 관계를 기술하는 층으로서 개별 개념 변수를 잡음성 다중 측정값 번들로 바꾸거나 일부를 은닉함으로써 추정 난이도와 샘플 기반 불확실성을 조절한다.
식별가능성(Identifiability): — 관찰가능한 분포와 그래프 구조만으로 특정 개입 또는 반사실량의 인구 수준 값이 유일하게 결정되는지 여부로서, 결정적 절차(예: ID 알고리즘)로 판정하고 비식별인 경우에는 응답 거부가 정답이 될 수 있음을 의미한다.
평균처치효과(Average Treatment Effect (ATE)): — 처치 X의 두 값 x1과 x0에 대한 결과 Y의 인구 평균 차이로 수치화되는因果 estimand이며, 식별 가능하면 도입된 관찰 분포로부터 계산·추정되고 비식별이면 거부해야 하는 분석 목표이다.
거부 판단(Abstention): — 주어진 관찰 정보와 가정으로는 타당한 인과 추정값을 제공할 수 없을 때 모델이 답변을 제출하지 않고 거부하는 행동으로서, CausalDS는 비식별 문제에서 거부를 1차 등급의 채점 결과로 다룬다.
펄의 사다리(인과 계층)(Pearl's Rungs): — 관찰(연관), 개입(도), 반사실의 세 단계로 구성된 인과 질문의 계층 구조로서 Rung 1은 예측·관찰적 관계, Rung 2는 개입 효과, Rung 3는 반사실적 질의를 다루며 각 단계별로 다른 식별·추정 기법이 요구된다.

CausalDS: 데이터 사이언스 에이전트의 인과 추론 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

AI 평가의 최신 연구 동향과 과학적 발견을 위한 AI의 가능성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

대화형 에이전트의 신뢰성과 협업 능력을 측정하는 벤치마크인 τ-bench와 τ²-bench 연구.

AI 평가의 최신 연구 동향과 과학적 발견을 위한 AI의 가능성