채용 공고에 포함된 system 역할 태그와 JSON 툴 정의로 인한 프롬프트 인젝션 경고

커뮤니티는 유사한 사례를 경험한 사용자들이 주로 우려를 표하고 있으며, 여러 사용자가 자동 스크래핑 도구나 브라우저 확장으로 유입된 숨은 텍스트를 문제로 지적했다. 일부 구성원은 모델이 자체적으로 안전판을 적용해 인젝션을 무시하는 경우가 많다고 공유했으나 다른 구성원들은 도구별 동작 차이 때문에 보편적 안전을 보장할 수 없다는 점을 강조했다. 대체로 입력 전처리와 출처 확인을 권하는 실용적 조언에 동의하는 분위기가 형성되어 있다.

• 웹에서 긁어온 채용 공고나 게시글을 AI 도구에 붙여넣기 전에 'system:'으로 시작하는 역할 태그, 중첩된 JSON 객체, 또는 함수·툴 시그니처처럼 보이는 블록을 텍스트 전처리 단계에서 탐지하여 삭제하거나 주석 처리하라. 이 방법은 입력을 단순 문자열로 환원하여 모델이 외부 지시를 내부 지시로 오인할 가능성을 낮춘다. 자동화 파이프라인에서는 정규식 기반 필터나 JSON 파싱 시도 실패 시 제거하는 로직을 적용하는 것이 재현 가능한 방어책이다.
• 브라우저 확장이나 스크래퍼로 수집한 텍스트는 수집 원본을 로깅하고 동일한 포맷이 반복적으로 유입되는지 모니터링하라. 반복적으로 같은 패턴의 'system' 블록이 발견되면 수집 파이프라인 자체를 점검하여 메타데이터가 콘텐츠에 섞여 들어가지 않도록 개선해야 한다. 이러한 운영 보완은 문제 재발을 막는 예방적 조치로서 효과적이다.
• AI 도구별로 안전 동작이 다를 수 있으므로, 민감한 콘텐츠를 처리하는 워크플로에서는 사전 검증 테스트를 수행하고 도구별 처리 결과를 문서화하라. 테스트 케이스에는 의도적으로 삽입된 system 태그와 JSON 툴 정의를 포함시켜 각 환경에서의 반응을 비교하면 어느 도구가 더 취약한지 판단할 수 있다. 그 결과에 따라 도구 선택이나 입력 정책을 조정하는 것이 실무적이다.

System Prompt

— 시스템 프롬프트는 모델에게 동작 범위와 권한을 지정하는 문자열로서 입력 텍스트에 삽입되면 모델의 응답 우선순위에 영향을 준다. 입력에 'system' 역할 태그가 포함되면 모델이 해당 태그를 내부 지시로 해석할 가능성이 있어 외부에서 삽입된 명령이 실행되는 위험이 존재한다. 따라서 외부에서 수집한 텍스트를 AI 도구에 넣을 때는 system 태그를 제거해야 모델이 의도치 않은 지시를 따르는 위험을 낮출 수 있다.

Prompt Injection

— 프롬프트 인젝션은 입력 텍스트에 악의적 또는 오용된 지시를 숨겨 모델이 원래 의도와 다른 행동을 하게 만드는 공격 방식이다. 공격자는 'system' 역할 태그나 JSON 형식의 도구 정의를 삽입하여 모델에게 추가 명령을 전달하려고 시도한다. 웹에서 긁어온 콘텐츠를 그대로 붙여넣을 때 이런 인젝션이 포함될 수 있어 사전 필터링이 중요하다.

Function Calling

— Function Calling은 모델 응답에서 외부 도구나 API를 호출하기 위해 도구와 함수의 시그니처를 JSON 등으로 정의하는 방식을 말한다. 스크랩한 문서에 툴 정의가 포함되면 모델이 그것을 도구 인터페이스로 오해하여 실제 호출을 시도하려는 행동을 보일 수 있다. 입력 텍스트 내 함수 정의나 툴 목록은 도구 사용 권한과 별개로 제거해야 안전하다.