DarkForest: 다중 에이전트 LLM에서 대화량을 줄이며 정확도를 높이는 제어된 협력 프레임워크

왜 중요한가

다중 에이전트 LLM 시스템은 에이전트 간의 상호 작용을 통해 추론 품질을 높일 수 있지만, 과도한 정보 교환은 오류 전파와 토큰 비용 증가를 야기한다. DarkForest는 정보 교환을 정책적으로 제한하고, 독립적으로 생성된 후보를 보정된 신념 상태로 합산해 최종 의사결정을 수행하는 구조를 제안한다. 이를 통해 정확도는 높이고 토큰 소비는 크게 감소시킨다.

핵심 기여

Independent candidate generation과 structured Observation

에이전트가 서로를 보지 않고 독립적으로 후보를 생성하고, 각 출력 oi를 (ai, zi, ci, vi, qi) 형태의 구조적 관찰로 변환한다. 유효한 관찰만 후보 클러스터링에 사용한다.

Calibrated belief construction over candidate clusters

클러스터 Cz에 대해 s(z) = Rπz ∑_{i∈Sz} αi ρi δi ϕ(ci) 로 증거를 계산하고, P(z|O) = max(0, s(z)) / ∑_{z′} max(0, s(z′)) 형태로 정규화한다. αi는 에이전트 신뢰도, Rπ는 지지 패턴 신뢰도, δi는 독립성 보정, ϕ(ci)는 신뢰도 매개변수를 반영한다.

Controlled disclosure policy

Disclose DΩ(O, B; Ω)로 보정된 신념 상태를 바탕으로 정책 승인 정보를 coordinator로 노출하고, 전체 원시 추론 트레이스는 필요시 제한적으로만 공유한다. 노출 비용 Tcross(E)도 측정한다.

Coordinator and guarded decision rule

코디네이터는 Exposed Evidence를 바탕으로 최상위 후보를 선택하고, z⋆가 신뢰되며 ẑcoord가 달라도 z⋆를 우선하는 가드레일(Guardrail)로 잘못된 결정 가능성을 줄인다. 이를 통해 최적의 정책-노출 조합을 실현한다.

Empirical validation and open-source tooling

6개 벤치마크에서 DarkForest가 기존 Baseline 대비 우수하거나 상회하는 품질을 보였고, 토큰 사용량을 대폭 줄였다. 또한 FinQA에서 3-5개의 독립 백본 추가가 성능을 향상시켰고, 코드가 오픈 소스로 제공된다.

핵심 아이디어 이해하기

출발점: 다중 에이전트 LLM 시스템에서 서로의 출력에 의존하는 정도를 줄이고 독립적으로 생성된 후보를 관리하는 것이 중요하다. (단계 1) Independent Generation: 각 에이전트는 입력 x에 대해 독립적으로 후보 ri를 생성한다. (단계 2) Parsing & Canonicalization: 각 ri를 구조화된 관찰 oi로 변환하고 잘못된 관찰은 제외한다. (단계 3) Candidate Clustering: 같은 z를 가지는 후보를 Cz로 묶고 Sz와 πz를 정의한다. (단계 4) Calibrated Belief: s(z) 계산, P(z|O) 정규화, z⋆ 및 ∆ 계산으로 보정된 신념 분포를 얻는다. (단계 5) Controlled Disclosure: 노출 정책에 따라 E를 coordinator에 전달하고, 토큰 비용도 추적한다. (단계 6) Coordinator and Guardrail: coordinator는 최상위 후보를 제시하고, 가드레일은 불일치가 강하게 지지될 때만 개입한다.

방법론

전체 접근 방식은 세 가지 설계 원칙에 기반한다: (1) Independent candidate generation: 에이전트는 서로의 후보를 보지 않은 채 독립적으로 생성한다. (2) Calibrated aggregation: 합의 여부를 단순 다수결이 아닌, 각 에이전트의 신뢰도 αi, 지지 패턴의 신뢰도 Rπ, 파싱 품질 ρi, 독립성 보정 δi, 신뢰도 보정 ϕ(ci)를 곱해 얻은 s(z)를 기반으로 결정한다. (3) Controlled communication: coordinator는 DΩ에 의해 정책적으로 노출된 compact evidence만 수신한다. 파생 공식: s(z) = Rπz ∑_{i∈Sz} αi ρi δi ϕ(ci); P(z|O) ∝ max(0, s(z)); z⋆ = arg max P(z|O); ∆ = P(z⋆|O) − P(z(2)|O). 지표는 posterior-like belief를 기반으로 하며, Uncertain(O) 조건도 도입한다. Guardrail은 |Sz⋆| ≥ k, P(z⋆|O) ≥ τp, ∆ ≥ τm를 만족하면 z⋆를 신뢰하고, coord의 출력이 상충하는 경우 z⋆를 대체한다.

주요 결과

주요 벤치마크에서의 결과: MATH에서 Exact Match 76.80%, HumanEval 84.00%, MMLU-Pro 58.38%, GPQA 39.90%, FinQA Execution 15.67% / Program 11.33%, LegalBench 68.00%를 기록. DarkForest는 Second-best Baseline 대비 2.52–5.00 포인트 개선; 최상위일 때의 갭은 1.2%–2.3% 상대적 차이로 작다. 토큰 비용 측면에서 DarkForest는 Graph-of-Agent (Mean) 대비 MATH 13.8k→4.7k, MMLU-Pro 24.6k→5.9k, GPQA 13.0k→3.2k, LegalBench 8.7k→1.9k로 대폭 감소. FinQA에서 3 backbones(기본) 15.67% 실행, 11.33% 프로그램; 4 backbones 추가 시 19.00% / 13.00%, 5 backbones 추가 시 19.33% / 13.67%로 확장되었다.

기술 상세

아키텍처: Independent Generation → Parsing & Canonicalization → Candidate Clustering → Calibrated Belief → Controlled Disclosure → Coordinator and Guardrail 순으로 흐름. oi = (ai, zi, ci, vi, qi) 형태의 파싱 관찰에서 유효한 vi=1만 Cz에 반영한다. Cz = (z, Sz, πz), Sz는 후보를 지지한 에이전트의 집합, πz는 지지 패턴의 순서이다. s(z) = Rπz ∑_{i∈Sz} αi ρi δi ϕ(ci). αi는 에이전트 신뢰도, Rπz는 패턴 신뢰도, ρi는 파싱 품질 페널티, δi는 독립성 보정, ϕ(ci) = 0.5 + ci. P(z|O)은 s(z)의 양의 값들로 정규화한 posterior-like 분포다. Disclosure는 E = DΩ(O, B)로 나타내며, Tcross = tokens(E)로 노출 비용을 측정한다. 최종 의사결정은 ŷ = (z⋆)를 기본으로 하고, Trusted(z⋆)가 만족되면 ẑcoord가 다르면 z⋆를 대체하는 가드레일이 작동한다. Kaplan: λmal, γ 등 보정 파라미터를 Held-out 데이터에서 추정하며, 예측 불확실성 Uncertain(O)도 신뢰성 판단에 반영한다.

실무 활용

제어된 정보 노출과 보정 신념 상태를 통해 다중 에이전트 LLM 시스템의 성능과 효율성을 높이며, 토큰 비용을 크게 줄일 수 있다.

다중 도메인 질의에 대해 독립 후보를 생성하고 신뢰도 기반으로 빠르게 합의점을 찾는 챗봇 시스템
법률/금융 등 전문 도메인에서 신뢰도 보정과 정보노출 정책을 통해 비용 효율적인 협력 엔진 구축
대규모 다에이전트 파이프라인에서 토큰 비용 최적화를 위한 제어된 협력 프레임워크 도입

코드 공개 여부: 공개

코드 저장소 보기

키워드

multi-agent LLM systems (다중 에이전트 LLM 시스템)error propagation (오류 전파)communication cost (통신 비용)calibrated belief state (보정된 신념 상태)independence correction (독립성 보정)controlled disclosure (통제된 노출)belief distribution (신념 분포)coordinator guardrail (코디네이터 가드레일)

용어 해설

독립적 후보 생성(Independent Generation): — 각 에이전트가 서로의 출력을 보지 않고 입력에 대해 독립적으로 후보를 생성하는 설정으로, 후속 조합에서 독립성 가정이 유지되도록 한다. 이는 에이전트 간 협력의 오류 전파 위험을 줄이고 협력의 근거를 compact하게 관리하는 출발점이 된다.
보정된 신념 상태(Calibrated Belief State): — 클러스터 단위 후보에 대한 신념 분포를 보정된 신뢰도(alpha_i), 파싱 품질, 독립성 보정, 지지 패턴 신뢰도 등을 반영하여 계산한 상태를 말한다. 최종 의사결정에 앞서 정보의 신뢰를 가중한다.
공개 정책(Disclosure Policy): — 에이전트 간 교환 정보에서 어떤 정보가 coordinator로 노출될지 결정하는 규칙으로, 컴팩트한 증거만 공개하고 전체 원시 추론 traces는 필요시 제한적으로만 공유한다.
독립성 보정(Independence Correction): — 연관된(상호 의존 가능한) 에이전트들이 서로의 증거를 독립적으로 기여하는 것으로 잘못 계산되지 않도록 각 에이전트의 기여를 할인하는 매커니즘이다.
신념 분포(Belief Distribution): — 가용 후보(Cz)들에 대해 posterior-like 분포 p̂(Y=z|O,x) 형태로 정규화된 확률 분포로, 최상위 후보와 그 차이를 기반으로 의사결정에 활용된다.