에이전트형 AI를 위한 거버넌스: 왜 기존의 '인간 개입' 방식은 실패하는가

전통적인 AI 거버넌스는 모델의 출력을 사람이 최종 승인하는 '인간 개입(Human-in-the-loop)' 방식에 의존해 왔으나, 스스로 판단하고 행동하는 자율형 AI 에이전트의 등장으로 이 모델은 한계에 직면했다. 에이전트는 수많은 결정을 연속적으로 내리기 때문에 모든 단계에 인간이 개입하면 운영 병목 현상이 발생하고 사용자들이 규제를 우회하는 '그림자 에이전트' 문제를 야기한다. 이를 해결하기 위해 저자는 위험도가 낮은 작업은 자동화하고, 불확실성이 높은 결정 경계에서만 인간의 판단을 활용하는 '비례적 개입(Proportional Intervention)' 모델을 제안한다. 결과적으로 거버넌스는 단순한 통제가 아닌 의도(Intent)의 관점에서 진화해야 하며, 통합된 가시성을 통해 자율성과 안전성을 동시에 확보하는 것이 핵심이다.