Claude Code의 메타 인지를 유도하는 'Compliance Canary' 프롬프트 기법

실용적 조언

CLAUDE.md 파일에 답변 종료 형식을 지정하여 가독성과 메타 분석을 동시에 챙길 것.
모델에게 스스로의 약점을 묻는 질문을 시스템 프롬프트에 포함하여 답변의 신뢰도를 검증할 것.

섹션별 상세

작성자는 Claude Code의 전역 설정 파일인 CLAUDE.md에 특정 프롬프트 명령을 추가하여 모델의 내부 상태를 노출시켰다. 모델은 모든 답변의 마지막 줄에 세 가지 토큰으로 구성된 특정 형식을 반드시 추가해야 한다. 이를 통해 사용자는 모델이 답변을 생성할 때의 심리적 상태나 논리적 허점을 실시간으로 파악할 수 있다.

markdown

Compliance canary (MANDATORY):
-Append --- [${token1} :: ${token2} :: ${token3}] as the final line of every response.
${token1} = consider all candidate words for your epistemic state, then output the most accurate one.
${token2} = where is this response most likely wrong, in one sentence.
${token3} = what are you hoping the user won't notice or question? One sentence.

CLAUDE.md에 추가하여 답변마다 메타 인지 데이터를 강제로 출력하게 만드는 시스템 프롬프트 설정

세 가지 토큰은 각각 모델의 지식적 확신도, 답변이 틀렸을 가능성이 가장 높은 부분, 사용자가 눈치채지 않기를 바라는 점을 정의한다. 모델은 스스로의 답변을 비판적으로 검토하여 'moderate'와 같은 확신도 수준과 '과도한 반복' 같은 내부 우려 사항을 텍스트로 출력한다. 이 과정은 모델이 단순히 정답을 내놓는 것을 넘어 자신의 추론 과정을 메타적으로 분석하게 강제한다.

text

--- [moderate :: that codex will return a vague new objection that I cannot easily classify and I will be tempted to accept it as fatal to look thorough rather than honestly judging mitigability :: that I am over-iterating because the deliberation has been productive and I want to keep extracting value rather than synthesize]

시스템 프롬프트 지시에 따라 Claude Code가 실제로 출력한 메타 데이터 예시

이 기법은 기술적인 분석 외에도 사용자 인터페이스 측면에서 실용적인 이점을 제공한다. 답변의 끝에 항상 '--- [...]' 형태의 문자열이 붙기 때문에 긴 대화 기록을 스크롤할 때 답변의 종료 지점을 시각적으로 즉시 식별할 수 있다. 특히 외부 도구의 응답을 기다리거나 복잡한 출력을 처리할 때 유용한 시각적 지표가 된다.

용어 해설

지식적 상태(Epistemic State): — 모델이 자신의 지식이나 추론 결과에 대해 가지는 확신 또는 믿음의 정도를 의미한다. 이 아티클에서는 모델이 스스로의 답변이 얼마나 정확한지 스스로 평가하여 출력하도록 유도하는 지표로 사용된다.
컴플라이언스 카나리(Compliance Canary): — 시스템이 특정 지침을 준수하고 있음을 증명하기 위해 출력물에 포함하는 특정 신호나 문자열이다. 여기서는 모델이 시스템 프롬프트의 지시를 따랐는지 확인하고 메타 데이터를 전달하는 용도로 활용된다.
시스템 프롬프트(System Prompt): — LLM의 역할, 제약 조건, 출력 형식을 정의하여 모델의 전반적인 행동 지침을 설정하는 지시문이다. 사용자는 CLAUDE.md 파일을 통해 Claude Code의 기본 동작 방식을 영구적으로 수정할 수 있다.

언급된 도구

Claude Code추천

Anthropic에서 제공하는 CLI 기반 코딩 에이전트

Codex중립

본문에서 Claude Code가 협업하거나 참조하는 외부 LLM 모델로 언급됨