AI 보안 및 규제 준수 관점에서 본 AI 설명 가능성의 한계와 법적 증거 능력 문제

작성자의 문제의식에 동의하며, AI의 블랙박스 특성이 법적 책임 소재를 가리는 데 있어 거대한 장벽이 될 것이라는 우려가 지배적입니다.

• 고위험 AI 시스템 도입 시 SHAP/LIME 결과에만 의존하지 말고, 규제 준수를 위한 데이터 로깅 및 감사 추적 시스템을 별도로 구축해야 함
• 법적 분쟁 가능성이 있는 분야에서는 AI의 단독 결정보다는 인간의 검토 과정을 포함시켜 책임 소재를 명확히 하는 설계가 필요함

• SHAP, LIME 등 기존 XAI 도구는 비결정론적 특성과 검증 불가능성으로 인해 법정에서 Daubert 표준을 충족하는 증거로 인정받기 어렵다.
• 모델이 차별적 결과를 내면서도 정상적인 설명을 생성하도록 속일 수 있다는 연구 결과는 현재 설명 도구의 보안상 취약점을 드러낸다.
• EU AI Act와 미국 NDAA 등 강화되는 규제에 대응하기 위해서는 단순 모니터링을 넘어 제3자 검증이 가능한 포렌식 수준의 AI 분석 도구가 필요하다.