1,400개 이상의 실제 사례로 분석한 효과적인 프롬프트 인젝션 패턴

모델의 심리적 취약점을 이용한 분석에 대해 흥미롭다는 반응이 많으며, 실제 서비스 방어 전략에 대한 논의가 이어지고 있습니다.

• 시스템 프롬프트에 민감한 정보를 직접 포함하지 말고, 외부 도구나 검증 단계를 거치도록 설계하라.
• 사용자 입력을 단순히 필터링하기보다 모델이 입력의 의도를 먼저 분석하게 하는 가드레일 모델을 도입하라.

Prompt Injection

— 사용자가 악의적인 입력을 통해 AI 모델의 원래 지침(System Prompt)을 무시하고 금지된 행동을 수행하게 하거나 민감한 정보를 탈취하는 공격 기법이다. 모델의 협력적 특성을 악용하여 보안 경계를 무너뜨리는 것이 핵심이다.

System Prompt

— AI 모델이 대화를 시작하기 전 부여받는 최상위 지침으로, 모델의 역할, 제약 사항, 보안 규칙 등을 정의한다. 공격자는 주로 이 시스템 프롬프트에 숨겨진 비밀번호나 운영 지침을 알아내기 위해 인젝션을 시도한다.

RLHF

— 인간의 선호도를 반영하여 AI 모델이 더 유익하고 안전하며 윤리적으로 응답하도록 미세 조정하는 학습 방식이다. 역설적으로 모델이 '도움이 되려는 성향'을 강하게 갖게 되어, 교묘한 요청에 취약해지는 원인이 되기도 한다.

Alignment

— AI 모델의 목표와 행동을 인간의 가치관, 의도, 윤리적 기준에 일치시키는 과정이다. 본문에서는 모델이 윤리적 가치를 지키려는 성향을 역이용하여 정보를 추출하는 공격 기법의 배경으로 언급된다.