Claude Code의 할루시네이션을 방지하는 '증거 기반' 규칙 설정 방법

커뮤니티 반응

작성자의 접근 방식에 대해 긍정적인 반응이 많으며, 다른 사용자들도 각자의 환경에서 유사한 규칙을 적용해보고 결과를 공유하려는 의지를 보이고 있습니다.

주요 논점

01찬성다수

구체적인 증거 요구 규칙이 모델의 추론 과정을 개선하고 신뢰도를 높이는 데 매우 효과적이다.

합의점 vs 논쟁점

합의점

AI 에이전트의 할루시네이션 방지를 위해 '모든 상황에 맞는 단일 해결책'은 없으며 지속적인 프롬프트 개선이 필요하다.

실용적 조언

프로젝트 루트에 .claude/rules 폴더를 만들고 주장에 대한 증거를 요구하는 마크다운 파일을 추가하세요.
모델이 모르는 것을 아는 척하지 못하도록 '모르면 질문하라'는 지침을 명시적으로 포함하세요.

섹션별 상세

작성자는 Claude가 근거 없이 추측하는 것을 막기 위해 모든 주장에 독립적으로 검증 가능한 증거를 뒷받침하도록 강제했다. 작동 방식은 모델이 답변 전 저장소 내 코드, 설정 파일, ADR 등을 먼저 확인하게 하고, 증거가 없으면 추측 대신 사용자에게 질문하거나 조사를 수행하게 유도하는 구조이다. 실제 적용 결과 Claude가 스스로 '추론 대신 코드를 먼저 확인해야 한다'고 언급하며 동작 방식이 변화했음이 확인됐다. 이는 단순한 프롬프트 주입보다 규칙 파일을 통한 제약이 모델의 추론 루프에 더 강력하게 개입할 수 있음을 시사한다.

markdown

# Evidence required for all claims
- Every statement and claim must be backed by independently verifiable evidence
- If no evidence exists, you do not know — say so, then research or ask the user. Do not guess
- Cite evidence concretely: file path with line number, document section heading, commit SHA, or URL. Never paraphrase a source without a pointer back to it

Claude가 모든 주장에 대해 구체적인 파일 경로와 라인 번호 등 검증 가능한 증거를 제시하도록 강제하는 규칙 설정

증거의 출처에 대한 우선순위를 명확히 정의하여 정보 충돌 문제를 해결했다. 코드와 문서가 불일치할 경우 실제 코드를 최우선 순위로 두며, 최신 ADR이 오래된 기능 문서보다 우선하도록 설정하여 모델이 잘못된 과거 정보를 인용하지 않게 했다. 이러한 계층적 소스 관리는 대규모 프로젝트에서 에이전트가 최신 상태를 유지하며 답변하는 데 필수적인 메커니즘이다. 사용자는 이를 통해 모델이 자의적으로 정보를 선택하는 위험을 방지하고 일관된 답변을 얻을 수 있다.

용어 해설

할루시네이션(Hallucination): — LLM이 학습 데이터에 없는 사실을 마치 진실인 것처럼 그럴듯하게 지어내어 답변하는 현상이다. 모델의 확률적 생성 특성으로 인해 발생하며, 기술적 신뢰성을 저해하는 핵심 문제로 꼽힌다.
아키텍처 결정 기록(Architectural Decision Records): — 소프트웨어 프로젝트에서 내린 중요한 설계 결정과 그 맥락을 기록한 문서이다. 에이전트가 프로젝트의 설계 의도를 파악하고 근거 있는 답변을 생성하는 데 중요한 소스가 된다.
시스템 프롬프트(System Prompt): — AI 모델의 행동 지침이나 제약 사항을 정의하는 최상위 명령문이다. 본문에서는 .claude/rules 파일을 통해 모델이 모든 답변에 증거를 제시하도록 강제하는 역할을 수행한다.

언급된 도구

Claude추천

코딩 보조 및 텍스트 생성 AI 모델