Claude Code의 지침 미준수 해결을 위한 가중치 루브릭 기반 중단 훅 구현

커뮤니티 반응

작성자가 구현한 구체적인 검증 로직과 외부 링크에 대해 관심을 보이며, 유사한 지침 미준수 문제를 겪는 사용자들 사이에서 실무적인 해결책으로 논의되고 있다.

주요 논점

01찬성다수

텍스트 지침의 한계를 인정하고 외부 모델을 통한 정량적 평가와 강제 재시도 루프를 도입하는 것이 실질적인 제어 방법이다.

합의점 vs 논쟁점

합의점

단순한 자연어 지침(Prose instructions)만으로는 복잡한 에이전트의 행동을 일관되게 제어하기 어렵다.
검증 시스템 도입 시 시스템 전체가 멈추지 않도록 하는 안전장치(Retry cap, Fail-open)가 반드시 필요하다.

논쟁점

Haiku와 같은 하위 모델이 상위 모델의 복잡한 논리적 오류를 완벽하게 잡아낼 수 있는지에 대한 비평가 모델의 신뢰성 문제

실용적 조언

Claude Code 사용 시 CLAUDE.md 지침이 무시된다면 응답을 가로채서 특정 키워드나 형식을 검사하는 후처리 스크립트를 고려하라.
검증 루브릭을 설계할 때 모든 규칙을 동일하게 취급하지 말고 사용자 경험에 치명적인 규칙에 높은 가중치를 부여하라.

섹션별 상세

Claude Code가 CLAUDE.md에 명시된 질문 처리 방식이나 단계별 워크플로 설계를 무시하는 현상이 발생했다. 단순한 텍스트 지침만으로는 모델의 행동을 완벽히 제어하기 어렵다는 한계가 확인됐다. 이를 해결하기 위해 모델의 응답을 실시간으로 감시하고 제어하는 기술적 개입이 필요해졌다.

Haiku 모델을 비평가(Critic)로 활용하여 응답의 적절성을 평가하는 자동화된 검증 루프를 구축했다. 메인 모델의 턴이 종료되면 Haiku가 7가지 규칙으로 구성된 100점 만점의 가중치 루브릭을 기준으로 응답을 채점한다. 모든 하위 기준을 충족하여 100점을 받지 못할 경우 시스템은 중단(Stop) 신호를 차단하고 위반 사항 목록과 함께 재시도를 명령한다.

시스템의 안정성을 위해 재시도 횟수를 턴당 최대 3회로 제한하고 에러 발생 시 검증을 건너뛰는 페일 오픈(Fail-open) 방식을 채택했다. 이는 비평가 모델 자체의 오류나 무한 루프로 인해 전체 코딩 세션이 중단되는 것을 방지하기 위한 설계이다. 규칙의 가중치는 발생 빈도와 사용자 경험에 미치는 영향도에 따라 차등 배정하여 효율성을 높였다.

용어 해설

중단 훅(Stop Hook): — LLM의 응답이 완료되기 직전에 특정 로직을 실행하여 출력을 검증하거나 수정하는 가로채기 메커니즘이다. 이 아티클에서는 모델이 지침을 준수했는지 평가하고 미달 시 재시도를 강제하는 제어 장치로 사용된다.
가중치 루브릭(Weighted Rubric): — 평가 항목별로 중요도에 따라 점수를 다르게 배정하는 평가 기준표이다. 본문에서는 7개의 규칙에 총 100점을 배정하여 모델의 응답 품질을 정량적으로 측정하고 통과 여부를 결정하는 잣대로 활용한다.
페일 오픈(Fail-open): — 시스템에 오류가 발생했을 때 보안이나 제어를 해제하여 서비스 중단을 막는 설계 방식이다. 비평가 모델(Critic)의 오류로 인해 전체 세션이 먹통이 되는 것을 방지하기 위해 에러 발생 시 검증 없이 통과시키는 안전장치이다.

언급된 도구

Claude Code중립

Anthropic의 공식 CLI 코딩 에이전트

Haiku추천

응답의 규칙 준수 여부를 판별하는 비평가(Critic) 모델

언급된 리소스

DemoWeighted Rubric Implementation