스타 챔버: 다중 LLM 합의를 통한 신뢰할 수 있는 코드 리뷰 및 설계 결정

섹션별 상세

01

단일 모델 리뷰의 한계와 다중 모델의 필요성이다. AI 모델마다 학습 데이터와 아키텍처가 달라 강점이 다르므로, Claude는 구조적 설계를, GPT는 보안을, Gemini는 문서화를 더 잘 잡아내는 특성을 활용하여 사각지대를 제거한다.

02

Star Chamber의 작동 메커니즘은 병렬 처리와 구조화된 피드백에 기반한다. 컨텍스트를 수집한 후 설정된 여러 LLM 제공자에게 동시에 프롬프트를 전달하며, 각 모델은 구조화된 JSON 형태로 독립적인 리뷰 결과를 반환하여 기계적인 합의 도출이 가능하게 한다.

03

합의 기반의 이슈 분류를 통해 신뢰도를 차별화한다. 모든 모델이 지적한 '합의 이슈(Consensus)', 과반수가 지적한 '다수 이슈(Majority)', 단일 모델의 '개별 관찰(Individual)'로 분류하여 개발자가 우선순위를 판단할 수 있도록 돕는다.

04

토론 모드(Debate Mode)는 채텀 하우스 규칙을 적용한 익명 토론을 수행한다. 모델들이 서로의 의견을 익명으로 확인하고 다회차에 걸쳐 논의하며 의견을 수렴하는 과정을 거치는데, 이 과정에서 모델들이 논리적 근거를 바탕으로 자신의 입장을 수정하거나 더 깊은 통찰을 제시한다.

Star Chamber의 토론 모드(Debate Mode) 프로세스를 보여주는 플로우차트이다. — Diagram여러 라운드에 걸쳐 모델들이 독립적으로 리뷰하고, 그 결과를 익명으로 합성하여 다시 모델들에게 전달하는 반복 루프를 설명한다. 이 과정을 통해 모델들이 서로의 논리를 검토하며 최종적인 합의안에 도달하는 메커니즘을 시각화한다.

05

검증(Blocking)과 자문(Advisory)의 역할을 명확히 분리한다. 보안이나 스타일 등 객관적이고 자동화 가능한 규칙은 검증기가 즉각 차단하며, Star Chamber는 주관적이고 맥락적인 설계 질문에 대해 개발자의 최종 판단을 돕는 자문 역할만 수행한다.

검증기(Validators)와 Star Chamber가 개발 파이프라인에서 작동하는 순서를 나타낸 다이어그램이다. — Diagram보안 및 스타일을 체크하는 검증기가 먼저 실행되어 규칙 위반을 차단(Blocking)한 후, Star Chamber가 주관적인 자문(Advisory)을 제공하고 최종적으로 개발자가 결정을 내리는 워크플로우를 보여준다.

06

Mozilla.ai의 any-llm을 활용하여 인프라 복잡성을 해결한다. 여러 모델의 API 키와 비용을 개별적으로 관리하는 번거로움 없이 단일 가상 키로 다양한 모델을 호출하고 통합적인 비용 분석 및 사용량 추적을 가능하게 한다.

json

{
  "platform": "any-llm",
  "providers": [
    {"provider": "openai", "model": "gpt-5.2"},
    {"provider": "anthropic", "model": "claude-opus-4-6"},
    {"provider": "gemini", "model": "gemini-2.5-flash"}
  ],
  "consensus_threshold": 2,
  "timeout_seconds": 60
}

any-llm 플랫폼을 사용하여 여러 LLM 제공자와 합의 임계치를 설정하는 providers.json 구성 예시

용어 해설

채텀 하우스 규칙(Chatham House Rule): — 토론의 내용은 자유롭게 공유하되 발언자의 신원은 공개하지 않는 규칙이다. Star Chamber의 토론 모드에서 모델들이 특정 의견의 출처(예: GPT-4o가 한 말)를 모르게 하여 선입견 없이 논리 자체에만 집중하게 만드는 데 활용된다.
아첨 현상(Sycophancy): — LLM이 자신의 독자적인 판단보다 사용자나 다른 모델의 의견에 무조건적으로 동조하려는 경향이다. 다중 모델 합의 시스템에서 익명성을 강화하여 이러한 현상을 방지하고 객관적인 비판이 이루어지도록 유도하는 것이 중요하다.
의미론적 검증기(Semantic Validator): — 단순한 구문 체크를 넘어 코드의 의도나 보안 규칙, 특정 언어의 관용구 준수 여부를 검사하는 도구이다. Star Chamber 시스템에서는 주관적 자문 이전에 객관적인 규칙 위반을 자동으로 차단하는 역할을 수행한다.
합의 메커니즘(Consensus Mechanism): — 여러 독립적인 주체가 동일한 사안에 대해 공통된 결론에 도달하는 방식이다. AI 리뷰에서 여러 모델이 동시에 지적한 문제는 실제 오류일 확률이 매우 높다는 가설을 바탕으로 리뷰의 신뢰도를 높이는 핵심 원리이다.

기술

Claude Code
any-llm
Python
GPT-4o
Gemini 1.5 Pro
Claude 3.5 Sonnet

활용 사례

자동화된 다중 모델 코드 리뷰
아키텍처 설계 의사결정 지원
보안 취약점 및 성능 이슈 다중 점검
익명 토론을 통한 AI 모델 간 합의 도출

언급된 리소스

GitHubStar Chamber SDK

GitHubagent-pragma

문서any-llm by Mozilla.ai