Claude Code의 품질을 강제하는 QA 레이어 'Bully' 공개

커뮤니티 반응

작성자가 직접 도구를 개발하여 공유한 것에 대해 긍정적인 반응이며, 에이전트의 품질 제어 방식에 대한 관심이 높다.

주요 논점

01찬성다수

에이전트에게 자유도를 주기보다 엄격한 린트와 규칙을 강제하는 것이 실제 프로덕션 코드 품질 유지에 훨씬 효과적이다.

합의점 vs 논쟁점

합의점

에이전트가 작업을 완료한 직후(Post-edit) 검증 단계를 두는 것이 에이전트의 성능을 비약적으로 향상시킨다.

실용적 조언

Python 프로젝트라면 ruff check를 Bully 규칙에 등록하여 에이전트가 항상 PEP 8 및 프로젝트 스타일 가이드를 준수하게 하라.
React 프로젝트에서는 useEffect를 통한 상태 유도 방지 규칙을 시맨틱 엔진으로 설정하여 에이전트의 불필요한 리렌더링 유발을 차단하라.

섹션별 상세

작성자는 Claude Code의 PostToolUse 훅을 활용하여 에이전트가 작업을 마친 직후 자동으로 검증을 수행하는 시스템을 구축했다. 이 시스템은 단순한 배시 스크립트에서 시작하여 현재는 린터 실행, 정적 분석, 아키텍처 테스트를 포함하는 종합적인 QA 레이어로 발전했다. 에이전트가 규칙을 위반할 경우 즉각적으로 피드백을 제공하여 코드를 수정하도록 강제하는 구조를 갖추고 있다.

yaml

rules:
  ruff-check:
    description: "Code must pass ruff check."
    engine: script
    scope: ["*.py"]
    severity: error
    script: "ruff check --quiet {file}"
  no-any-cast:
    description: "No as any casts. Use a precise type or unknown plus narrowing."
    engine: ast
    scope: ["src/**/*.ts", "src/**/*.tsx"]
    severity: error
    pattern: "$EXPR as any"

Bully 설정 파일에서 Ruff 린트 체크와 AST 기반의 타입 캐스팅 제한 규칙을 정의하는 예시

Bully는 정적 규칙(Static Rules)과 시맨틱 규칙(Semantic Rules)의 두 가지 검증 엔진을 제공한다. 정적 규칙은 Ruff와 같은 기존 도구나 AST 패턴 매칭을 통해 코드의 구조적 결함을 잡아내며, 시맨틱 규칙은 LLM이 직접 코드의 의도를 판단하여 React의 useEffect 오용과 같은 복잡한 안티 패턴을 식별한다. 이러한 다층적 검증을 통해 단순 문법 오류를 넘어선 고차원적인 코드 품질 관리가 가능하다.

에이전트의 컨텍스트 관리와 메모리 개선을 위한 기능이 포함되어 있다. 파일 편집 전 에이전트에게 해당 파일에 적용되는 규칙을 미리 고지하여 실수를 예방하며, 검증 실패 시 제공되는 상세한 피드백은 에이전트가 자신의 오류를 학습하고 다음 시도에서 더 나은 결과를 내도록 유도한다. 또한 .bully.yml 설정 파일을 자동으로 감지하고 생성하는 기능을 통해 초기 도입 장벽을 낮췄다.

용어 해설

도구 사용 후 훅(PostToolUse Hook): — AI 에이전트가 특정 도구(코드 수정, 파일 생성 등)를 실행한 직후에 자동으로 트리거되는 확장 지점이다. 이 단계에서 린팅이나 테스트를 강제함으로써 에이전트의 실수를 즉각적으로 교정하고 코드 품질을 보장하는 게이트 역할을 수행한다.
정적 분석(Static Analysis): — 프로그램을 실제로 실행하지 않고 소스 코드의 구조를 분석하여 잠재적인 버그, 보안 취약점, 코딩 표준 위반을 찾아내는 방법이다. AI 에이전트가 생성한 코드의 문법적 올바름과 프로젝트 규칙 준수 여부를 자동으로 검증하는 데 필수적이다.
추상 구문 트리(AST): — 프로그래밍 언어로 작성된 소스 코드의 구조를 트리 형태로 표현한 데이터 구조이다. Bully와 같은 도구는 AST 패턴 매칭을 통해 'as any'와 같은 특정 코드 패턴을 정확하게 찾아내고 에이전트에게 수정을 요구하는 근거로 활용한다.

언급된 도구

Bully추천링크

Claude Code 에이전트를 위한 QA 및 규칙 강제 레이어

Ruff추천

Python 코드 린팅 및 포맷팅

언급된 리소스

GitHubBully GitHub Repository

rules: ruff-check: description: "Code must pass ruff check." engine: script scope: ["*.py"] severity: error script: "ruff check --quiet {file}" no-any-cast: description: "No as any casts. Use a precise type or unknown plus narrowing." engine: ast scope: ["src/**/*.ts", "src/**/*.tsx"] severity: error pattern: "$EXPR as any"

Claude Code의 품질을 강제하는 QA 레이어 'Bully' 공개

커뮤니티 반응

주요 논점

합의점 vs 논쟁점

합의점

실용적 조언

섹션별 상세

용어 해설

언급된 도구

언급된 리소스

Claude Code의 품질을 강제하는 QA 레이어 'Bully' 공개

커뮤니티 반응

주요 논점

합의점 vs 논쟁점

합의점

실용적 조언

섹션별 상세

용어 해설

언급된 도구

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드