GitHub의 25,000개 규칙 분석: AI 에이전트 성능을 높이는 것은 '하지 말아야 할 일' 목록이다

연구 결과가 기존의 프롬프트 엔지니어링 상식과 반대된다는 점에 주목하며, 실제 경험과 일치하는지에 대한 논의가 이루어지고 있다.

• CLAUDE.md 파일을 작성할 때 '깨끗한 코드 작성' 같은 추상적 지시 대신 '테스트 코드 수정 금지' 같은 구체적 금지 사항을 우선적으로 넣으세요.
• 규칙의 개수를 50개 이하로 유지하여 에이전트가 처리해야 할 노이즈를 최소화하세요.

Negative Constraints

— AI 에이전트에게 특정 행동을 하지 말라고 명시하는 지침이다. '현재 티켓 이외의 코드를 리팩터링하지 말 것'과 같은 제약은 에이전트의 작업 범위를 명확히 하여 불필요한 수정을 방지하고 성능을 향상시키는 역할을 한다.

Context Priming

— 특정 정보나 지침을 미리 제공하여 AI 모델의 후속 반응에 영향을 주는 기법이다. 이 연구에서는 규칙의 구체적 내용보다 '이것이 어떤 종류의 작업인지'를 인지시키는 것 자체가 에이전트의 성능을 높이는 주요 기전임을 시사한다.

SWE-bench Verified

— 소프트웨어 엔지니어링 능력을 평가하기 위한 벤치마크의 신뢰성을 높인 버전이다. 실제 GitHub 이슈를 해결하는 능력을 측정하며, 이 연구에서는 5,000개 이상의 에이전트 작업을 테스트하는 기준점으로 활용됐다.