GitHub Copilot에서 SKILL.md를 활용한 다중 에이전트 기반 코드 리뷰 실험

커뮤니티 반응

작성자의 독특한 실험 방식과 AI가 스스로를 차단했다는 에피소드에 대해 흥미롭다는 반응이 주를 이룹니다.

주요 논점

01중립다수

SKILL.md를 통한 다단계 에이전트 구조는 강력하지만 안정성 면에서 한계가 있다.

합의점 vs 논쟁점

합의점

SKILL.md는 워크플로나 MCP 없이도 모델의 행동을 제어할 수 있는 유효한 수단이다.
대규모 병렬 에이전트 호출 시 서비스 제한 사항을 고려해야 한다.

논쟁점

작업 중단 후 발생한 '가비지(garbage)' 출력이 서비스 자체의 문제인지 모델의 컨텍스트 유지 능력 한계인지 여부

실용적 조언

복잡한 리뷰 프로세스를 자동화하고 싶다면 SKILL.md에 단계별 에이전트 역할을 명시하여 테스트해 볼 것
에이전트 수를 너무 많이 설정할 경우 호출 제한에 걸릴 수 있으므로 적절한 분할이 필요함

섹션별 상세

작성자는 20개의 A 에이전트가 개별 리뷰를 수행하고 이를 B 에이전트가 취합한 뒤 C 에이전트가 최종 확정하는 계층적 구조를 설계했다. SKILL.md 파일에 강력한 강제력을 가진 지침을 작성하여 모델이 정해진 순서와 역할을 엄격히 준수하도록 유도했다. 이 방식은 단일 에이전트가 놓칠 수 있는 세부 사항을 다수의 서브 에이전트가 병렬로 검토하게 함으로써 리뷰의 포괄성을 높이는 것을 목표로 한다.

실험 도중 GitHub Copilot이 14번째 에이전트 리뷰 단계에서 멈추는 현상이 발생했다. 작성자는 이를 서비스 중단 또는 Copilot 내부의 서브 에이전트 호출 제한(Rate Limit)에 걸린 것으로 추정했다. 이후 작업을 재개했을 때 나머지 6개의 에이전트가 무의미한 결과물을 생성하며 시스템이 중단되는 현상이 관찰됐다.

시스템 중단 후 사용자가 명시적으로 계속 진행할 것을 명령했으나 Copilot이 자신이 설정한 SKILL 지침에 의해 스스로 차단되었다고 답변하는 흥미로운 상황이 발생했다. 이는 AI에게 부여한 강력한 제약 조건이 예외 상황에서 모델의 유연한 대응을 방해하는 '자기 차단' 현상을 일으킬 수 있음을 시사한다. 작성자는 이를 단순한 오류가 아닌 흥미로운 실험적 발견으로 공유했다.

용어 해설

SKILL.md: — GitHub Copilot과 같은 도구에서 AI의 행동 지침이나 특정 작업 수행 방식을 정의하는 마크다운 기반의 설정 파일이다. 모델이 따라야 할 규칙과 워크플로를 명시하여 복잡한 작업을 구조화하는 데 사용된다.
서브 에이전트(Sub-agent): — 하나의 거대한 작업을 수행하기 위해 주 에이전트 아래에서 특정 역할이나 세부 작업을 분담하여 처리하는 하위 AI 유닛이다. 이 게시물에서는 20개의 검토 에이전트가 병렬로 작동하는 구조로 활용됐다.
코드 리뷰(Code Review): — 작성된 소스 코드를 다른 사람이나 AI가 검토하여 오류를 찾고 품질을 개선하는 과정이다. AI 에이전트를 활용하면 대규모 코드베이스에 대해 일관된 규칙을 강제하며 자동화된 검토가 가능하다.

언급된 도구

GitHub Copilot중립

SKILL.md를 통한 코드 리뷰 자동화 실험 대상

Claude Code중립

작성자가 이전에 사용하던 코딩 에이전트 도구