금융 생성형 AI의 신뢰성을 보장하는 Human-in-the-Loop(HITL) 워크플로우 설계 가이드

섹션별 상세

01

금융 규제 당국은 AI 시스템의 책임성과 투명성을 강력하게 요구하고 있으며, 특히 EU AI Act는 신용 평가 및 리스크 분석 AI를 고위험군으로 분류하여 인간의 감독을 의무화하고 있다.

02

금융 데이터는 스캔된 송장, 수기 메모, 복잡한 표가 포함된 PDF 등 비정형 데이터가 많아 범용 모델이 도메인 특화 용어를 오독하거나 사실과 다른 내용을 생성할 위험이 크다.

03

HITL의 세 가지 설계 패턴 중 사전 배포 검토(Pre-Deployment Review)는 모든 출력물을 전문가가 확인하는 방식으로 속도는 느리지만 규제 리스크가 큰 고위험 작업에 적합하다.

04

신뢰도 기반 라우팅(Confidence-Based Routing) 패턴은 모델이 확신하는 사례는 자동 처리하고, 신뢰도가 낮은 결과물만 전문가에게 전달하여 처리량과 리스크 관리 사이의 균형을 맞춘다.

05

사후 배포 감사(Post-Deployment Auditing)는 실제 운영 중인 시스템의 샘플을 지속적으로 추출하여 전문가가 평가하고, 이를 통해 모델의 성능 저하(Drift)나 체계적 오류를 식별하는 데 활용된다.

06

전문가의 수정 사항과 피드백은 Supervised Fine-tuning(SFT)이나 Reinforcement Learning from Human Feedback(RLHF)의 학습 데이터로 전환되어 모델의 정확도를 점진적으로 높인다.