사후 기여도 분석
학습이 완료된 모델을 수정하지 않고 외부에서 입력과 출력을 분석하여 예측의 근거를 찾아내는 방식이다. 모델 구조에 상관없이 적용 가능하지만 입력의 미세한 변화에 설명 결과가 급변하는 불안정성 문제가 자주 발생한다.