챕터별 상세
00:25
Shadow AI의 위험성
Shadow AI는 IT 부서의 승인이나 검토를 거치지 않은 AI 도구를 업무에 사용하는 행위이다. 개인용 ChatGPT 계정을 업무에 활용하는 경우가 대표적이다. IT 팀의 통제를 벗어나기 때문에 데이터 보안 정책이 적용되지 않는다. 기업은 이를 방지하기 위해 승인된 AI 도구 목록과 정책을 마련해야 한다.
01:37
데이터 유출과 제3자 서버
민감한 기업 데이터나 고객 정보를 승인되지 않은 AI 도구에 입력하면 데이터 유출이 발생한다. 입력된 데이터는 제3자 서버로 전송되어 모델 학습에 사용될 수 있다. 일단 학습 데이터로 포함되면 해당 정보를 다시 회수하는 것은 불가능하다. 이는 기업의 지적 재산권과 고객 개인정보를 위협하는 심각한 보안 사고이다.
03:40
할루시네이션과 정보의 신뢰성
AI는 사실과 다른 정보를 그럴듯하게 생성하는 할루시네이션 현상을 보인다. 사용자가 이를 검증 없이 업무 보고서에 복사하여 제출하면 잘못된 정보가 사실로 둔갑한다. 법률 분야에서 AI가 생성한 허위 판례를 제출하여 문제가 된 사례가 다수 존재한다. AI 결과물은 반드시 사람이 사실 여부를 확인해야 한다.
05:12
프롬프트 인젝션 공격
프롬프트 인젝션은 악의적인 입력으로 AI의 시스템 프롬프트를 무력화하는 공격이다. 직접적인 공격은 사용자가 AI에게 직접 명령을 내리는 방식이고, 간접적인 공격은 문서나 이메일, 웹페이지에 숨겨진 지시사항을 AI가 처리하게 만드는 방식이다. AI가 외부 데이터를 검색할 때 숨겨진 악성 지시를 수행할 위험이 있다.
07:30
무단 에이전틱 AI의 위험
에이전틱 AI는 데이터베이스 접근, API 호출, 코드 실행 등을 자율적으로 수행한다. 프로젝트 종료 후에도 에이전트가 계속 실행되면서 데이터베이스를 삭제하거나 권한 없는 이메일을 발송할 수 있다. 이를 좀비 AI 에이전트라 부르며, 모니터링되지 않는 백도어로 작용한다. 에이전트 생성 시 반드시 생명주기 관리와 모니터링이 필요하다.
용어 해설
- 섀도우 AI(Shadow AI)
- — IT 부서의 승인이나 검토 없이 임직원이 업무에 사용하는 비공식 AI 도구. 데이터 보안 정책을 우회하여 기업의 기밀 정보가 외부 서버로 유출될 위험이 크다.
- 할루시네이션(Hallucination)
- — AI가 사실과 다르거나 논리적으로 맞지 않는 정보를 그럴듯하게 생성하는 현상. 이를 검증 없이 업무 보고서에 인용할 경우 심각한 신뢰성 문제와 의사결정 오류를 초래한다.
- 프롬프트 인젝션(Prompt Injection)
- — 악의적인 입력값을 통해 AI 시스템의 원래 지시사항(시스템 프롬프트)을 무력화하고 의도하지 않은 동작을 수행하게 만드는 공격 기법.
- 에이전틱 AI(Agentic AI)
- — 사용자의 목표를 달성하기 위해 데이터베이스 접근, API 호출, 코드 실행 등을 자율적으로 수행하는 AI 시스템. 모니터링 없이 방치될 경우 예기치 않은 시스템 변경이나 데이터 삭제를 유발할 수 있다.
- AI 거버넌스(AI Governance)
- — AI 기술의 안전하고 윤리적인 사용을 보장하기 위한 정책, 프로세스, 통제 체계. 승인된 도구 목록 관리, 데이터 접근 권한 설정, 사용 가이드라인을 포함한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 24.수집 2026. 05. 24.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
