블랙박스 모델의 예측 민감도를 계산하는 XAI 도구 sage-explainer 개발 및 공유

실용적 조언

비미분 가능 모델의 민감도 분석이 필요할 때 sage-explainer를 사용하여 중심 차분법보다 안정적인 결과를 얻을 수 있다.

섹션별 상세

기존 XAI 도구인 SHAP이나 LIME은 예측의 원인을 설명하는 특성 기여도(feature attribution)에 집중하지만, 이 도구는 예측값의 변화 민감도(∂[prediction]/∂[feature])를 계산하여 위험 관리에 활용할 수 있도록 설계되었다.

이 도구는 섭동 기반(perturbation-based) 접근 방식을 사용하여, 인스턴스 주변에서 특성을 섭동시키고 secant slope를 계산한 뒤 선형 회귀를 통해 원래 인스턴스에서의 기울기를 추정한다. 이때 섭동 거리에 따라 가우시안 가중치를 적용하여 추정의 안정성을 높였다.

PyTorch 신경망 모델에서는 autograd를 사용한 실제 기울기와 비교했을 때 성능 차이가 미미했으나, 분석적 기울기를 구할 수 없는 Random Forest 모델에서는 기존 중심 차분법(CFD)보다 훨씬 안정적인 민감도 추정 결과를 보였다.

용어 해설

설명 가능한 AI(XAI): — AI 모델의 예측 결과를 인간이 이해할 수 있는 방식으로 설명하는 기술 분야. 모델의 투명성과 신뢰성을 높이기 위해 사용되며, 특성 기여도 분석이나 민감도 분석 등을 포함한다.
특성 기여도(Feature Attribution): — 모델의 예측 결과에 각 입력 특성이 얼마나 기여했는지를 수치화하는 기법. SHAP이나 LIME이 대표적이며, 어떤 변수가 결과에 결정적인 영향을 미쳤는지 파악하는 데 사용된다.
중심 차분법(Centered Finite Differences): — 함수의 기울기를 근사하기 위해 점의 양옆으로 작은 간격(h)만큼 이동하여 차분을 구하는 수치 미분법. 구현이 간단하지만 간격(h) 설정에 따라 결과가 크게 달라질 수 있다.
섭동(Perturbation): — 모델의 입력값에 작은 변화를 주어 출력값의 변화를 관찰하는 기법. 모델의 강건성 테스트나 민감도 분석, 설명 가능성 연구에서 핵심적인 방법론으로 활용된다.

언급된 도구

sage-explainer추천

sensitivity analysis

shap중립

feature attribution

lime중립

feature attribution

pytorch중립

NN framework

xgb중립

black-box model

언급된 리소스

GitHubsage-explainer GitHub repository