인과 파운데이션 모델

왜 중요한가

기존 인과 추론은 새 데이터마다 인과 구조와 추정기를 정하고 nuisance 모델을 학습해야 하지만, CFM은 사전학습된 가중치를 고정한 채 관측 데이터를 context로 사용합니다. 논문 벤치마크의 Lalonde RealCause 설정에서는 CFM이 전통적 모델보다 짧은 runtime으로 경쟁력 있는 PEHE 순위를 기록해 반복적인 소규모 인과 분석의 처리 부담을 줄입니다.

핵심 기여

CFM의 인과 추론 구조 정리

Causal Foundation Model을 다양한 인과 과제로 사전학습한 PFN으로 정의하고, 관측 데이터만 context로 사용해 새로운 데이터의 CEPO, CID, CATE 같은 인과량을 추정하는 흐름을 정리합니다.

세 CFM 설계 비교

Do-PFN, CausalPFN, CausalFM을 예측 대상, DGP prior와 식별 전략, 입력 임베딩 및 Transformer 구조에 따라 비교합니다. 세 모델은 각각 CID-PPD, CEPO-PPD, CDTE-PPD를 중심으로 설계됩니다.

RealCause-Lalonde 벤치마크 구성

Lalonde-CPS 16,177개 샘플과 Lalonde-PSID 2,675개 샘플을 활용한 반합성 평가를 구성하고, 10개의 독립 실현에서 CATE와 ATE를 알려진 정답과 비교합니다.

실행 가능한 코드와 노트북 제공

CATEEstimator 호출 예시와 Jupyter notebook, 전체 구현을 함께 제공해 관측 context와 query를 이용한 CFM 추론 절차를 재현할 수 있게 구성합니다.

핵심 아이디어 이해하기

일반적인 예측 모델은 관측된 공변량과 결과의 관계를 학습하지만, 처치를 강제로 바꿨을 때 결과가 어떻게 달라지는지는 바로 알 수 없습니다. 예를 들어 황새 수와 출생률의 상관관계만 학습한 모델은 황새를 늘리면 출생률이 올라간다고 잘못 예측할 수 있으며, 인과 추론은 관측이 아니라 개입에 따른 결과를 묻습니다.

인과 추론에서는 한 개인에게 실제로 적용된 처치의 결과만 관측되고, 같은 개인에게 다른 처치를 적용했을 때의 잠재적 결과는 알 수 없습니다. 따라서 CATE와 ATE처럼 여러 개인의 잠재적 결과 차이를 평균낸 양을 추정하며, 이때 무시 가능성, positivity, SUTVA 같은 가정이 관측 데이터와 인과 효과를 연결합니다.

CFM은 이 문제를 매번 새 모델을 학습하는 대신, 다양한 구조적 인과 모델에서 생성한 과제를 사전학습하는 방식으로 처리합니다. 배포 시에는 관측된 공변량·처리·사실 결과를 context로 넣고, query 공변량이나 처치 조건을 Transformer의 Attention으로 context와 연결해 인과량의 posterior predictive distribution을 출력합니다.

핵심은 예측용 PFN의 입력과 정답이 모두 관측 예시인 것과 달리, CFM은 관측 데이터로부터 개입 결과를 추정하도록 학습한다는 점입니다. 사전학습 중에는 SCM의 처치 방정식을 고정값으로 교체해 개입 데이터를 만들고, 모델은 관측 context만 보고 그 개입 결과 또는 효과 분포를 복원합니다.

방법론

CFM은 먼저 DGP prior에서 SCM을 샘플링하고, 그 구조 방정식에 외생 잡음을 넣어 관측 데이터 D_obs를 생성합니다. 이어 처치 변수를 원하는 값으로 고정하는 do(T=t) 개입을 수행해 CEPO, CID, CATE 같은 인과 목표값을 계산하고, 관측 데이터만 입력받은 모델의 출력 분포와 목표값 사이의 negative log-likelihood를 causal prior-data loss로 계산합니다.

이 학습은 예측 PFN보다 구조적으로 어렵습니다. context에는 각 공변량에 대해 하나의 factual treatment와 factual outcome만 있지만, 정답은 관측되지 않은 counterfactual 또는 intervention outcome에서 나오기 때문입니다. 실험적으로 직접 얻을 수 없는 잠재적 결과를 만들기 위해 SCM의 처치 구조 방정식을 고정값으로 바꾸고 나머지 방정식을 전파하며, CEPO는 외생 잡음에 대한 기대값으로 계산하거나 전용 CEPO 노드로 직접 생성합니다.

추론 단계에서는 모델 가중치를 갱신하지 않고 D_obs를 context로, 새 공변량 또는 공변량·처치 쌍을 query로 전달합니다. Transformer의 masked attention은 각 query가 context를 참고하게 하면서 query끼리는 서로 참조하지 못하게 하므로, query의 순서나 다른 query의 내용에 의존하지 않는 batched 예측이 가능합니다. 출력된 PPD의 평균을 점 추정량으로 사용하고, 분포 자체는 유한 표본과 DGP 불확실성을 나타냅니다.

모델별 prior 설계가 인과 추정의 범위를 결정합니다. Do-PFN은 비식별 prior를 사용해 숨은 교란으로 인한 불확실성을 보존하고, CausalPFN은 strong ignorability와 SUTVA를 만족하는 backdoor prior를 사용합니다. CausalFM은 backdoor, instrumental variable, frontdoor 설정에 별도 모델과 prior를 두어 서로 다른 식별 조건을 다룹니다.

주요 결과

논문은 Lalonde-CPS 16,177개 샘플과 Lalonde-PSID 2,675개 샘플로 구성된 RealCause 반합성 벤치마크를 사용하고, 10개의 독립 실현에서 평균과 표준오차를 집계합니다. 생성 결과는 관측 공변량만의 함수로 정의되어 조건부 무시 가능성을 보장하며, CATE와 ATE를 알려진 정답과 비교하는 평가 구조를 만듭니다.

제공된 Figure 4의 Lalonde RealCause 비교는 2개 cohort와 10개 실현에서 9개 모델 중 최선의 PEHE 순위를 나타냅니다. CausalPFN은 GPU에서 약 2초, CPU에서 약 20초대의 runtime으로 두 환경 모두 약 1.7위의 평균 순위를 기록합니다. Do-PFN은 GPU에서 약 1.6초, CPU에서 약 120초의 runtime과 약 4.8위의 순위를 기록하고, CausalFM은 GPU에서 1초 미만, CPU에서 약 35초의 runtime과 약 6.6위의 순위를 기록합니다.

전통적 모델은 약 700초에서 2,600초 범위의 runtime을 보입니다. T-Learner는 약 1.4위로 가장 높은 순위를 기록했고, Debiased ML은 약 3.2위, X-Learner는 약 5.2위, S-Learner는 약 5.8위, DR-Learner는 약 7.3위에 위치합니다. 따라서 그림의 비교에서는 CFM마다 속도와 PEHE 순위의 조합이 다르며, CausalPFN은 높은 순위와 짧은 runtime을 함께 기록합니다.

기술 상세

CFM은 PFN의 Transformer 기반 context-query 구조를 인과 추론에 맞게 바꿉니다. 관측 context는 D_obs={(x_n,t_n,y_n)}로 구성되고 query는 CATE라면 x_m, CEPO라면 (x_m,t_m)으로 구성됩니다. context 임베딩에는 관측 공변량·처리·사실 결과가 들어가지만 query 임베딩에는 결과가 들어가지 않으며, masked attention이 query의 결과 토큰 참조를 차단합니다.

사전학습의 causal prior-data loss는 prior에서 SCM ψ를 뽑고 D_obs와 query x를 관측 분포에서 샘플링한 뒤, SCM으로 계산한 인과 목표값에 모델이 부여한 likelihood의 음의 로그를 최소화합니다. CEPO를 학습할 때는 모델 출력 qθ(μ_t(x) | x,t,D_obs)를 실제 μ_t(x)에 맞추고, CID를 학습할 때는 개입 do(T=t)로 샘플한 결과 y에 qθ(y | x,t,D_obs)의 likelihood를 맞춥니다. 두 경우 모두 true PPD의 닫힌 형태를 계산할 필요 없이 SCM에서 개입 정답을 생성하면 됩니다.

SCM 사전은 그래프 구조, 구조 방정식, 처치 할당 과정, 외생 잡음 분포를 함께 샘플링합니다. 관측 데이터는 원래 처치 방정식을 사용해 생성하고, 개입 데이터는 처치 방정식을 T=t로 교체한 뒤 나머지 방정식을 전파해 y(t)를 얻습니다. CEPO는 같은 공변량 x에서 외생 잡음에 대한 Y(t)의 기대값이며, Monte Carlo 샘플을 늘리면 추정 정확도는 높아지지만 SCM 순전파 횟수와 학습 비용도 증가합니다.

세 모델의 구조적 차이는 명확합니다. Do-PFN은 TabPFNv1 계열 Transformer와 treatment-column indicator를 사용하며 CID-PPD를 대상으로 합니다. CausalPFN은 처리값을 공변량과 결합해 임베딩하고 결과를 별도 임베딩하며 CEPO-PPD를 대상으로 합니다. CausalFM은 공변량·처리·결과를 별도 encoder로 처리한 뒤 GMM head를 사용하고 CDTE-PPD를 대상으로 하며, backdoor·frontdoor·instrumental variable prior를 분리합니다.

모델 규모는 Do-PFN 730만 파라미터·12개 Transformer layer, CausalPFN 2,000만 파라미터·20개 layer, CausalFM 270만 파라미터·10개 layer입니다. 다만 식별 가능하지 않은 인과량은 관측 데이터가 무한히 많아도 하나의 값으로 수렴하지 않으므로, CFM의 PPD가 나타내는 불확실성과 prior의 식별 조건을 함께 해석해야 합니다.

한계점

CFM의 성능은 사전학습 prior가 포괄하는 DGP와 식별 조건에 의존하며, 논문은 현재 causal prior의 품질을 체계적으로 평가한 연구가 아직 없다고 명시합니다. 또한 Lalonde 평가는 조건부 무시 가능성을 만족하도록 생성한 반합성 데이터에 기반하므로, 실제 환경의 숨은 교란과 다른 개입 구조에 대한 일반화 범위는 별도로 확인해야 합니다.

실무 활용

CFM은 새 데이터마다 모델을 다시 학습하지 않고 관측 데이터와 인과 query를 context-query 형식으로 넣어 효과 분포를 추정합니다. GitHub 저장소와 notebook이 제공되므로 CATE, CEPO, CID 추정과 전통적 estimator의 runtime·오차 비교를 재현할 수 있습니다.

Lalonde와 같은 반합성 데이터에서 CATE 및 ATE 추정기 비교
여러 소규모 관측 데이터셋에 대한 빠른 인과 효과 추정
공변량별 처치 효과 이질성 평가를 위한 CATE query 실행
CFM과 S-Learner, T-Learner, X-Learner, DR-Learner의 runtime 및 PEHE 비교

코드 공개 여부: 공개

코드 저장소 보기

키워드

Causal Foundation Models(인과 파운데이션 모델)Causal Inference(인과 추론)In-Context Learning(문맥 내 학습)CATE(조건부 평균 처치 효과)ATE(평균 처치 효과)Prior-Data Fitted Networks(사전 데이터 적합 네트워크)Structural Causal Models(구조적 인과 모델)

용어 해설

문맥 내 학습(In-Context Learning): — 모델 가중치를 업데이트하지 않고, 새로운 과제의 입력·정답 예시를 context로 함께 넣어 query의 예측을 만드는 방식입니다. CFM은 관측 데이터의 공변량·처리·결과를 context로 읽은 뒤, 새 공변량이나 처리 조건에 대한 인과 효과 분포를 한 번의 순전파에서 추정합니다.
평균 처치 효과(Average Treatment Effect): — 전체 모집단에 처치를 적용했을 때와 기준 처치를 적용했을 때의 잠재적 결과 차이를 평균낸 인과 추정량입니다. 개별 공변량에 따른 효과 차이를 상쇄할 수 있으므로, CATE와 함께 모집단 수준의 처치 효과를 평가하는 데 사용됩니다.
조건부 평균 처치 효과(Conditional Average Treatment Effect): — 특정 공변량을 공유하는 개인 집단에서 처치와 기준 처치의 잠재적 결과 차이를 평균낸 값입니다. CFM은 관측 데이터와 query 공변량을 입력으로 받아 개인 또는 하위집단별 효과 이질성을 추정하며, 모집단 평균만으로는 드러나지 않는 차이를 포착합니다.
구조적 인과 모델(Structural Causal Model): — 변수 사이의 방향성 그래프와 각 변수의 구조 방정식, 외생 잡음으로 데이터 생성 과정을 정의하는 모델입니다. CFM 사전학습에서는 SCM을 prior에서 샘플링하고 관측 데이터와 처치 개입 데이터를 생성해 인과 질의의 정답을 만듭니다.
식별 가능성(Identifiability): — 관측 데이터 분포만으로 특정 인과 추정량을 하나의 값으로 결정할 수 있는 성질입니다. 숨은 교란을 허용하는 여러 데이터 생성 과정이 같은 관측 분포를 만들면 인과 효과는 식별되지 않으며, 모델은 무한히 많은 데이터가 있어도 관련 불확실성을 제거할 수 없습니다.

인과 파운데이션 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

지연된 위반을 인과적으로 귀속하는 CCPL

IBM, 상용 활용 가능한 Granite 시계열 PatchTST-FM-r2 공개

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

지연된 위반을 인과적으로 귀속하는 CCPL

IBM, 상용 활용 가능한 Granite 시계열 PatchTST-FM-r2 공개