AGENTS.md는 Codex 저장소에서 가장 중요한 파일이지만 아무도 테스트하지 않습니다 — 이를 해결하기 위한 블라인드 평가 파이프라인을 구축했습니다

실용적 조언

에이전트 지시문 수정 시 반드시 원본과 수정본을 블라인드 테스트하여 성능 저하 여부를 확인해야 한다.
지시문 파일의 크기를 줄이는 것은 비용 절감뿐만 아니라 에이전트의 컨텍스트 효율성을 높이는 데 직접적인 도움이 된다.

섹션별 상세

에이전트의 의사결정과 코드 구조를 결정하는 AGENTS.md 파일의 중요성에도 불구하고 대다수 사용자가 이를 검증 없이 사용한다는 문제를 제기했다. CLAUDE.md, .cursorrules 등 다양한 에이전트 지시문 레이어가 존재하지만 이를 위한 체계적인 테스트 스위트가 부재한 상황이다.

Claude Code를 활용해 기술(Skill)을 코드처럼 측정, 최적화, 검증하는 파이프라인을 구축했다. 여러 독립적인 AI 심사위원이 원본과 최적화 버전을 모르는 상태에서 블라인드 평가를 수행하며, 모든 결과물에 SHA-256 체크섬을 부여해 데이터 조작을 방지하는 무결성 체인을 형성했다.

브레인스토밍 기술에 파이프라인을 적용한 결과, 블라인드 통과율이 80%에서 96%로 상승했으며 파일 크기는 70% 감소했다. 이는 지시문의 밀도를 높여 에이전트 호출 시마다 발생하는 토큰 비용을 직접적으로 절감하면서도 성능은 향상시킨 결과이다.

최적화가 항상 성공하는 것은 아니며, 글쓰기 계획 기술의 경우 최적화 후 통과율이 46%로 급락한 실패 사례도 투명하게 공개했다. 이는 수치 기반의 객관적 검증 없이는 지시문 수정이 오히려 에이전트의 품질을 저하시킬 수 있음을 시사한다.

용어 해설

블라인드 평가(Blind Evaluation): — 평가자가 어떤 대상이 원본인지 최적화된 버전인지 모르는 상태에서 결과물만 보고 품질을 판정하는 방식이다. 주관적 편향을 제거하여 프롬프트나 모델의 성능 개선 여부를 객관적으로 측정하는 데 필수적이다.
SHA-256 해시(SHA-256): — 데이터의 무결성을 확인하기 위해 사용하는 암호화 해시 함수이다. 본문에서는 평가 데이터와 결과물이 수정되지 않았음을 증명하는 체크섬으로 활용되어 검증 과정의 투명성을 보장한다.
지시문 레이어(Instruction Layer): — AI 에이전트가 작업을 수행할 때 참조하는 지속적인 지침 파일(AGENTS.md, .cursorrules 등)이다. 에이전트의 우선순위, 코드 구조, 의사결정 방식을 정의하며 모델의 기본 동작 위에 덧씌워지는 실행 규칙 역할을 한다.

언급된 도구

Claude Code추천

최적화 파이프라인 및 평가 하네스 구축 도구

Codex중립

AGENTS.md를 기반으로 작동하는 에이전트 프레임워크

언급된 리소스

GitHubwillynikes2/skill-evals

DemoPresient Labs Free Skill Download