AI 보안 및 규제 준수 관점에서 본 AI 설명 가능성의 한계와 법적 증거 능력 문제

작성자의 문제의식에 동의하며, AI의 블랙박스 특성이 법적 책임 소재를 가리는 데 있어 거대한 장벽이 될 것이라는 우려가 지배적입니다.

• 고위험 AI 시스템 도입 시 SHAP/LIME 결과에만 의존하지 말고, 규제 준수를 위한 데이터 로깅 및 감사 추적 시스템을 별도로 구축해야 함
• 법적 분쟁 가능성이 있는 분야에서는 AI의 단독 결정보다는 인간의 검토 과정을 포함시켜 책임 소재를 명확히 하는 설계가 필요함

SHAP

— 게임 이론의 샤플리 값을 활용하여 모델의 예측 결과에 각 특성이 기여한 정도를 수치화하는 기법이다. 각 변수의 영향력을 공정하게 배분하여 모델의 판단 근거를 시각화하지만, 계산 복잡도가 높고 상관관계가 있는 변수 처리에 한계가 있다.

LIME

— 복잡한 모델의 특정 예측 주변을 단순한 모델로 근사하여 해석하는 기법이다. 개별 데이터 포인트에 대한 국소적 설명을 제공하지만, 샘플링 방식에 따라 설명의 일관성이 떨어질 수 있다는 단점이 있다.

Daubert Standard

— 미국 법정에서 전문가 증언이나 과학적 증거의 허용 여부를 판단하는 법적 기준이다. 증거의 재현 가능성, 동료 검토 여부, 오차율, 학계의 수용도 등을 평가하며, 현재 AI 설명 모델들이 이를 충족하기 어렵다는 지적이 있다.

AI Observability

— AI 시스템의 내부 상태와 성능을 실시간으로 모니터링하고 분석하는 기술이다. 주로 운영 효율성(Ops)을 위해 사용되며, 모델의 드리프트 감지나 성능 저하를 파악하는 데 유용하지만 법적 증거 수준의 정밀함과는 차이가 있다.