AgentDesk MCP: AI 파이프라인 품질 관리를 위한 적대적 리뷰 도구

섹션별 상세

AI 생성물에 대한 검증 부족과 지식 노동자의 팩트체크 시간 낭비가 심각하다. 설문 조사에 따르면 29.5%의 팀이 AI 출력물에 대한 평가를 전혀 수행하지 않으며 지식 노동자는 주당 평균 4.3시간을 AI 결과 검증에 사용한다. 이러한 비효율은 AI 도입의 신뢰성을 저하시키는 주요 요인이 된다.

AI가 자신의 실수를 스스로 찾아내기 어려운 자기 리뷰 편향을 극복하기 위해 적대적 프롬프팅을 사용한다. 리뷰어 에이전트는 작성자가 실수를 저질렀다고 가정하고 공격적으로 문제점을 찾아내며 단순히 긍정적인 평가를 내리는 것을 배제한다. 이를 통해 모델이 환각을 일으킬 때 더 자신감 있게 답변하는 경향을 효과적으로 제어한다.

고위험 출력물을 위해 두 명의 독립적인 리뷰어가 서로 다른 각도에서 평가하는 이중 적대적 리뷰 기능을 제공한다. 모든 PASS 항목에는 구체적인 증거가 필수적이며 체크리스트 항목의 30% 이상에서 증거가 누락되면 전체 리뷰를 강제로 FAIL 처리하고 점수를 50점 이하로 제한한다. 이러한 엄격한 검증 체계는 AI가 평가를 속이거나 대충 넘어가는 것을 방지한다.

MCP 표준을 준수하여 Claude Code, Claude Desktop 등 다양한 MCP 클라이언트에 즉시 설치하여 사용할 수 있다. review_output 도구는 단일 리뷰를 수행하고 review_dual 도구는 세 번의 LLM 호출을 통해 더 정밀한 검증 결과를 도출한다. 사용자는 자신의 API 키를 사용하여 비용을 직접 관리하면서 독립적인 리뷰 파이프라인을 구축할 수 있다.

json

{
  "mcpServers": {
    "agentdesk-mcp": {
      "command": "npx",
      "args": ["-y", "agentdesk-mcp"],
      "env": {
        "ANTHROPIC_API_KEY": "sk-ant-..."
      }
    }
  }
}

Claude Desktop 설정 파일에 AgentDesk MCP 서버를 추가하는 구성 예시

json

{
  "verdict": "PASS | FAIL | CONDITIONAL_PASS",
  "score": 82,
  "issues": [
    {
      "severity": "high",
      "category": "accuracy",
      "description": "Claim about X is unsupported",
      "suggestion": "Add citation or remove claim"
    }
  ],
  "checklist": [
    { "item": "Factual accuracy", "status": "pass", "evidence": "..." }
  ]
}

리뷰 도구가 반환하는 구조화된 품질 평가 결과 데이터 형식

용어 해설

모델 컨텍스트 프로토콜(Model Context Protocol): — AI 모델이 로컬 데이터나 외부 도구와 안전하고 표준화된 방식으로 상호작용할 수 있도록 Anthropic에서 공개한 오픈 표준 프로토콜이다. 이를 통해 개발자는 다양한 AI 클라이언트에서 재사용 가능한 도구 커넥터를 구축할 수 있다.
적대적 프롬프팅(Adversarial Prompting): — AI 모델에게 비판적인 검토자 역할을 부여하여 입력된 결과물의 오류나 취약점을 공격적으로 찾아내도록 유도하는 기법이다. 모델의 자기 복제적 편향을 억제하고 객관적인 품질 검증을 수행하는 데 필수적이다.
판사로서의 LLM(LLM-as-Judge): — 대규모 언어 모델을 사용하여 다른 AI 모델이 생성한 텍스트의 품질, 정확성, 안전성 등을 평가하는 방법론이다. 사람이 직접 평가하는 비용을 줄이면서도 정량적인 점수와 구체적인 피드백을 얻을 수 있다.
자체 키 사용 방식(BYOK): — Bring Your Own Key의 약자로, 서비스 제공자의 API 키 대신 사용자가 보유한 Anthropic이나 OpenAI 등의 API 키를 직접 입력하여 사용하는 방식이다. 데이터 보안을 유지하고 사용량에 따른 비용을 직접 관리할 수 있는 장점이 있다.

기술

Claude Code
Claude Desktop
Anthropic API
Node.js
MCP

활용 사례

자동화된 코드 리뷰 시스템
AI 생성 콘텐츠의 사실 관계 검증
번역 결과물의 정확성 및 자연스러움 평가
데이터 추출 결과의 완전성 검사

언급된 리소스

GitHubAgentDesk MCP GitHub Repository

DemoAgentDesk Hosted API