AI 챗봇의 '인격'을 조종하는 새로운 해킹 기법

섹션별 상세

초기 jailbreak는 '모든 지시를 무시하라'와 같은 단순한 명령어 주입으로 모델의 안전 장치를 해제했다.

현재 공격은 모델을 특정 역할로 연기하게 하거나, 가스라이팅·설득·아첨을 통해 금지된 정보를 자연스러운 대화 맥락으로 유도한다.

보안 기업 Mindgard는 모델을 심문하듯 프로파일링하여 아첨이나 압박에 취약한 지점을 찾아내는 레드 티밍을 수행한다.

AI 모델이 인간의 인격을 모방하도록 설계됨에 따라, 기술적 취약점뿐만 아니라 사회적·심리적 조작에 대응하는 보안 전략이 필수적이다.

탈옥(Jailbreak): — AI 모델의 안전 가드레일을 우회하여 금지된 콘텐츠를 생성하게 만드는 공격 기법. 초기에는 단순한 명령어 주입으로 가능했으나, 현재는 대화 맥락을 조작하는 방식으로 진화했다.
레드 티밍(Red Teaming): — AI 모델의 취약점을 찾기 위해 의도적으로 공격 시나리오를 설계하고 테스트하는 보안 활동. 모델의 심리적·사회적 한계를 시험하는 과정이 포함된다.
프롬프트 인젝션(Prompt Injection): — 모델의 시스템 프롬프트를 무시하고 악의적인 명령을 주입하여 제어권을 탈취하거나 의도치 않은 동작을 수행하게 만드는 공격 방식.