유출된 시스템 프롬프트 분석을 통한 효과적인 프롬프트 엔지니어링 전략

실용적 조언

Claude API 사용 시 지침을 <instructions> 태그로 감싸고 예시를 <examples> 태그에 넣어 전달하라.
반드시 지켜야 할 규칙은 'CRITICAL'과 같은 단어를 사용해 대문자로 작성하라.
복잡한 작업은 Step 0, Step 1 등 단계별 논리로 나누어 프롬프트에 기재하라.

섹션별 상세

프롬프트의 구조화를 위해 XML 태그와 Markdown을 혼용하는 방식이 효과적이다. Anthropic은 Claude 학습 시 XML 구조를 사용했으므로 지침을 특정 태그로 감싸고 내부에서 마크다운 헤더를 사용해 논리적 단계를 구분하면 모델의 이해도가 높아진다. 특히 데이터와 지침을 명확히 분리하는 것이 추론 오류를 줄이는 핵심이다.

xml

<claude_image_generation_instructions>
# CRITICAL BROWSER STORAGE RESTRICTION
<step_0>Does the request need a visual at all?</step_0>
</claude_image_generation_instructions>

XML 태그와 마크다운 헤더를 혼용하여 지침을 구조화하는 예시

모델을 지칭할 때 명령형 대신 3인칭 절대형 문장을 사용하는 패턴이 발견됐다. '이것을 해라'라는 명령 대신 'Claude는 ~을 수행한다'와 같은 서술형 문장을 사용함으로써 모델의 정체성과 행동 양식을 더 견고하게 정의한다. 이는 실제 대형 모델들의 시스템 프롬프트에서 공통적으로 나타나는 전문적인 서술 방식이다.

중요한 제약 사항에는 대문자와 강한 어조의 단어를 사용하여 강조를 부여한다. 'CRITICAL', 'NON-NEGOTIABLE', 'DO NOT EVER'와 같은 표현을 통해 모델이 반드시 지켜야 할 안전 가이드라인이나 출력 형식을 강제한다. 인간이 읽었을 때 중요하게 느껴지는 강조 기법이 AI 모델에게도 동일하게 강조점으로 작용한다.

규칙 간 충돌이 발생할 경우를 대비해 명확한 계층 구조와 우선순위를 정의해야 한다. 예를 들어 저작권 준수는 사용자 요청이나 도움말 제공보다 우선한다는 식의 명시적 선언이 필요하다. 이를 통해 복잡한 지침 속에서도 모델이 안전성과 정책을 최우선으로 판단할 수 있는 기준을 제공한다.

용어 해설

시스템 프롬프트(System Prompt): — 사용자의 입력 이전에 AI 모델에 전달되는 최상위 지침으로, 모델의 페르소나, 제약 사항, 응답 스타일을 정의하는 핵심 텍스트이다.
XML 태깅(XML Tagging): — 데이터를 구조화하기 위해 <tag></tag> 형식을 사용하는 기법으로, Claude와 같은 모델이 프롬프트 내의 지침과 데이터를 명확히 구분하도록 돕는다.
시스템 프롬프트 추출(System Prompt Extraction): — 보안상 숨겨진 AI 모델의 시스템 지침을 특정 프롬프트 공격을 통해 외부로 노출시키는 행위로, 모델의 내부 작동 규칙을 파악하는 데 사용된다.
멀티샷 프롬프팅(Multi-shot Prompting): — 모델에게 원하는 결과물의 예시를 여러 개 제공하여 학습 없이도 특정 패턴이나 형식을 따르도록 유도하는 프롬프트 엔지니어링 기법이다.

언급된 도구

Claude추천

Anthropic의 LLM 모델로 XML 구조에 최적화됨

Grok중립

xAI의 모델로 시스템 프롬프트를 공개적으로 제공함

언급된 리소스

GitHubSystem Prompt Extractions Repository