다중 에이전트 LLM의 이중 수준 조정과 검증 게이트 반성

왜 중요한가

다중 에이전트 LLM 시스템은 작업을 나누고 Reflection을 메모리에 추가하지만, 작업자 간 결합과 잘못된 Reflection이 성능을 어떻게 제한하는지 통일된 기준이 부족했습니다. 이 논문은 작업 분해의 결합도가 Follower 균형 오차를 키우고, 외부 환경 신호 없이 텍스트만 평가하면 일부 환경에서 개선을 보장할 수 없음을 수식과 실험으로 연결합니다.

핵심 기여

작업 분해와 작업자 균형 오차의 연결

Orchestrator–Worker 구조를 Bilevel Coordination Game으로 정식화하고, 작업자 상호작용의 결합 강도와 이웃 수가 Follower의 근사 Nash 균형 여유를 제한한다는 관계를 도출했습니다.

Ungated Reflection의 오차 바닥 조건

무조건 메모리에 추가하는 Reflection을 확률적 Drift로 모델링해 유한 시간 상한과 최악 사례의 Tightness를 구했으며, 지속적인 유해 정보 주입이 있을 때에만 보편적인 양의 오차 하한이 성립함을 보였습니다.

텍스트 전용 게이트의 정보 이론적 한계

같은 Text Generation Law를 가지지만 Reflection의 의미가 반대인 두 환경을 구성해, Transcript만 관찰하는 어떤 Gate도 두 환경 모두에서 균일한 개선을 보장할 수 없음을 증명했습니다.

Verifier-Gated SRMA와 수렴률

고정된 평가 절차에서 후보 메모리의 Verifier Risk가 엄격히 감소할 때만 채택하는 SRMA를 제안하고, 보정 조건과 수정 정보의 충분한 확률 아래 기하급수적 또는 다항식 수렴률을 도출했습니다.

환경 기반 실험 검증

Resource Contest, Overcooked, SWE-bench에서 Environment Ground Truth나 Repository Test Harness를 사용해 조정, 메모리, Grounding의 효과와 Re-anchoring 동작을 측정했습니다.

핵심 아이디어 이해하기

여러 LLM Worker가 하나의 복잡한 문제를 나눠 풀 때 각 Worker의 국소 점수 합만 최적화하면 공유 변수와 공동 제약 때문에 전체 결과가 달라질 수 있습니다. 논문은 Orchestrator가 Subtask τ를 만들고 Worker가 각각 결과 xᵢ를 생성하는 구조를 Bilevel Game으로 놓습니다. Worker 간 상호작용이 없으면 전체 효용 변화와 개별 효용 변화가 일치하지만, 상호작용 Edge의 수와 강도가 커질수록 그 차이가 커집니다.

각 Worker가 자신의 국소 효용을 충분히 높이는 방향으로 갱신하면 전체 효용을 나타내는 Potential도 대체로 증가하지만, 결합 효과 때문에 오차 여유가 생깁니다. 이 여유는 $eta_c leq 2d_{max}kappa$ 로 제한되며, $d_{max}$ 는 한 Worker가 연결된 최대 이웃 수, $kappa$ 는 상호작용 항의 최대 절댓값입니다. 예를 들어 결합 강도가 0이면 여유도 0이어서 독립적인 Potential Game이 되고, 결합 강도나 이웃 수가 커지면 같은 국소 개선이 전체 개선을 보장하는 정도가 약해집니다.

Reflection은 LLM Weight를 바꾸지 않고 External Memory를 편집하는 방식입니다. 문제는 새 Reflection이 오류를 줄이는 정보인지 Hallucination인지 생성 텍스트만으로 확정하기 어렵다는 점입니다. 논문은 같은 텍스트가 한 환경에서는 오류를 줄이고 다른 환경에서는 늘리는 두 환경을 구성해, Text-only Gate는 두 환경을 구분할 수 없다고 보입니다. 반면 실행 결과나 Test Harness처럼 환경에 의존하는 신호를 읽는 Gate는 후보를 실제로 평가할 수 있습니다.

SRMA는 후보 Reflection을 생성한 뒤 현재 메모리와 후보 메모리를 같은 고정 평가 절차로 실행하고, 후보 Risk가 현재 Risk보다 작을 때만 저장합니다. 매번 Risk가 감소하므로 Risk가 0에 가까워지고, 채택 확률이 Risk의 β제곱에 비례하면 β=0일 때 기하급수적 감소, β>0일 때 다항식 감소가 나타납니다. 즉 Reflection의 양을 늘리는 대신 환경 검증을 통해 잘못된 메모리 갱신을 차단하는 구조입니다.

방법론

복잡한 질의 q에서 Orchestrator는 Subtask Profile τ=(τ₁,…,τᴺ)를 생성하고, Worker i는 τᵢ를 입력으로 Local Solution xᵢ를 만듭니다. 전체 효용은 각 Worker의 국소 효용 합과 상호작용 항의 합으로 구성됩니다. 상호작용 Graph의 최대 차수를 $d_{max}$ , 각 상호작용 항의 절댓값 상한을 $kappa$ 로 두면 Worker의 일방적 변경에서 생기는 Potential 오차가 최대 $2d_{max}kappa$ 가 됩니다. 따라서 국소 효용 증가량이 이 여유보다 클 때만 ηᶜ-better-response로 갱신하고, 유한 Action Set에서는 Potential이 계속 증가하다가 유한 단계 안에 근사 Nash 균형에 도달합니다.

메모리 단계에서는 Execution Memory의 상태별 Sub-optimality를 $V_t$ 로 두고, 무조건 Reflection을 추가하는 경우의 조건부 평균을 $mathbb{E}[V_{t+1}|F_t]leq(1-gamma_t)V_t+nu_t$ 로 제한합니다. 여기서 $gamma_tV_t$ 는 현재 오류를 줄이는 Correction, $nu_t$ 는 Ungrounded Content가 추가하는 잔여 오류입니다. $gamma_tgequnderline{gamma}$ , $nu_tleqoverline{nu}$ 이면 $e_Tleq(1-underline{gamma})^Te_0+(overline{nu}/underline{gamma})(1-(1-underline{gamma})^T)$ 가 됩니다. 예를 들어 $gamma=0.2$ , $nu=0.04$ 인 고정 재귀는 장기 평균 오류 $nu/gamma=0.2$ 에 머물러, Correction만으로는 오류 제거를 보장하지 못합니다.

SRMA는 고정 평가 Protocol $g_i$ 로 메모리에서 결과를 만들고 Verifier가 Diagnostic을 계산한 뒤 Risk $R_t$ 를 얻습니다. Reflection으로 후보 메모리를 만든 후 같은 Protocol로 후보 Risk를 다시 계산해 $widetilde{R}<R_t$ 일 때만 커밋합니다. 채택 확률이 최소 $c_1R_t^β$ , 채택된 후보의 기대 Risk 감소량이 최소 $c_2R_t$ 이면 평균 Risk는 $r_{t+1}leq r_t-c_1c_2r_t^{1+β}$ 를 따릅니다. β=0이면 $r_Tleq(1-c)^Tr_0$ , β>0이면 $r_Tleq(r_0^{-β}+cβT)^{-1/β}$ 이며, Verifier Risk와 실제 오류의 관계 $V_ileq LR_i$ 가 성립할 때 같은 비율로 Task Error도 감소합니다.

확률적 평가에서는 현재와 후보 Risk를 각각 $K_t$ 회 Probe해 Hoeffding 오차 범위 $a_t=\sqrt{\log(4/\delta_t)/(2K_t)}$ 를 계산하고, 후보 추정값에 $a_t$ 를 더한 값이 현재 추정값에서 $a_t$ 를 뺀 값보다 작을 때만 채택합니다. 이 절차는 모든 채택 갱신이 실제 기대 Risk를 낮출 확률을 $1-\sum_t\delta_t$ 이상으로 제한합니다. 환경이 바뀌면 현재 메모리와 후보를 새 Risk로 다시 평가해 이전 Anchor를 교체합니다.

주요 결과

Resource Contest에서 SRMA의 누적 보상은 Easy 118.4±2.2, Hard 159.2±0.9, Many 177.3±1.9로 Oracle 보상의 98.5%–99.5%에 도달했습니다. Execution Memory를 추가하면 평균 보상이 2.6점 증가하고 평균 Regret이 4.33에서 1.70으로 60.8% 감소했습니다.

Overcooked의 세 Layout에서 Grounded SRMA 점수는 Cramped Room 320±20, Asymmetric Advantages 280±20, Centre Pots 260±20으로 모든 비교 방법보다 높았습니다. Text-only Self-gate 대비 점수 향상은 각각 14.3%, 27.3%, 30.0%였고, 첫 Delivery까지 걸린 단계도 각각 22±2, 26±3, 32±4로 줄었습니다.

Grounded SRMA는 유해 Proposal 채택률 6.2±1.8%, 유용 Proposal 채택률 85.4±3.6%, 최종 Risk 0.14±0.03을 기록했습니다. Self-gate의 유해 채택률 34.5±4.2%와 최종 Risk 0.28±0.08보다 유해 메모리 유입과 Risk가 모두 낮았습니다. Gate Trajectory에서 추정한 β̂=0.52±0.04를 사용한 예측은 Hold-out Risk와 Pearson r=0.94, RMSE=0.032를 기록했습니다.

500개 SWE-bench Instance에서 Kimi K2.5 기반 Bilevel SRMA는 72.2%를 해결해 공개 mini-SWE-agent v2 기준 70.8%를 넘었습니다. 동일 Backbone과 예산의 Free-form Multi-agent는 58.4%였고, 통제된 DeepSeek 비교에서도 Bilevel SRMA 71.4%가 mini-SWE v2 68.2%보다 높았습니다.

기술 상세

Follower Game의 Global Utility는 $U(x)=\sum_i u_i(x_i|\tau_i)+\sum_{(i,j)\in E}\psi_{ij}(x_i,x_j|\tau_i,\tau_j)$ 로 구성됩니다. Worker i가 자신의 Action만 바꾸면 국소 항의 변화 외에 최대 $d_{max}$ 개의 상호작용 항이 변하고, 각 항의 변화 폭이 최대 $2\kappa$ 이므로 Potential과 국소 효용 변화의 차이는 $eta_cleq2d_{max}kappa$ 입니다. 이 결과는 Orchestrator가 단순히 국소 점수가 높은 분해를 선택하는 것이 아니라, 국소 효용과 결합 비용 $C(tau)=d_{max}(tau)kappa(tau)$ 를 함께 고려해야 함을 뜻합니다.

Ungated Reflection의 평균 오류는 affine recursion으로 분석합니다. 현재 오류 $V_t$ 에 Correction 비율 $gamma_t$ 를 적용해 $(1-gamma_t)V_t$ 를 만들고, 검증되지 않은 정보가 $nu_t$ 를 더해 다음 오류를 얻습니다. 고정값 $gamma=0.2$ , $nu=0.04$ , 초기 오류 $e_0=1$ 이면 $e_1=0.84$ , $e_2=0.712$ , 장기 고정점은 $0.2$ 입니다. 지속적인 유해 Commitment 조건까지 추가하면 이 고정점 이하로 내려갈 수 없다는 하한이 생기지만, 단순한 상한 조건만으로는 모든 시스템에 양의 Error Floor를 단정할 수 없습니다.

텍스트 전용 Gate의 불가능성은 두 환경에서 같은 Proposal Class가 서로 반대 의미를 갖도록 구성해 증명합니다. 한 환경에서는 $f_0(v)=(1-kappa)v$ 가 오류를 줄이고 $f_1(v)=kappa+(1-kappa)v$ 가 오류를 늘리며, 다른 환경에서는 두 Class의 역할이 교체됩니다. Gate가 환경 신호를 보지 못하면 두 환경에서 같은 채택 Sequence를 사용하므로 적어도 한 환경의 최종 오류가 초기 오류보다 작아지지 않습니다. 반대로 Grounded Gate가 올바른 Class만 채택하면 $e_T=e_0(1-kappamu)^T$ 로 감소합니다.

SRMA의 핵심은 Proposal 생성과 Risk 평가를 분리하는 것입니다. Verifier와 고정 Decoder가 메모리별 결정적 Risk를 산출하고, 후보 Risk가 현재 Risk보다 작을 때만 상태를 바꿉니다. 채택 확률이 $c_1R_t^β$ , 채택 시 감소량이 $c_2R_t$ 이상이면 평균 갱신량이 $c_1c_2R_t^{1+β}$ 이상입니다. β=0은 매 단계 일정 비율 감소인 Geometric Rate, β>0은 오류가 작아질수록 채택이 드물어지는 Polynomial Rate이며, 논문은 두 Rate 모두 상수 배를 제외하고 Tight함을 보였습니다.

확률적 Verifier에서는 한 번의 평가가 Worse Proposal을 잘못 채택할 수 있으므로 Confidence Margin을 사용합니다. $K=5$ Probe는 잘못된 채택률을 28.4±5.2%에서 6.8±1.5%로 낮췄고, Adaptive Gate는 82±14회의 Verifier Call로 7.1±1.8%를 기록해 고정 $K=5$ 의 225회보다 호출 수를 63.6% 줄였습니다. 다만 Calibration이 불완전하면 SRMA가 보장하는 것은 실제 Task Utility가 아니라 Verifier Risk의 단조 감소입니다.

한계점

이론적 보장은 유한 Action Set, 제한된 Coupling, Verifier Calibration, 충분한 Corrective Mass 같은 조건에 의존합니다. 불완전한 Test Suite에서는 메모리의 실제 Task Utility가 아니라 Verifier Risk에 대해서만 단조 감소가 보장됩니다. Drift Parameter는 관측된 Trajectory에서만 검증됐고, Re-anchoring도 각 Stationary Segment의 수렴을 보장할 뿐 일반적인 Switching Regret 상한을 제공하지 않습니다. SWE-bench의 Kimi K2.5 결과 72.2%는 공개 70.8% Leaderboard 결과와 비교됐으며, 동일한 Method만을 비교한 통제 실험은 아닙니다.

실무 활용

실행 결과나 Repository Test Harness처럼 환경 기반 평가가 가능한 Multi-agent LLM 시스템에서 Reflection Memory의 품질을 관리하는 데 활용할 수 있습니다. 후보 메모리를 동일한 평가 Protocol로 재실행해 Risk가 실제로 감소한 경우에만 공유 Workboard에 반영하는 구조입니다.

Repository Test Harness를 통과한 Patch만 공유 메모리에 기록하는 다중 Agent Software Repair
Simulator 보상이나 Formal Checker 결과를 이용한 Reflection 채택 제어
Overcooked처럼 상태와 행동 결과를 정확히 평가할 수 있는 협력형 Agent 환경
환경 기준이 바뀌는 Resource Contest에서 Re-anchoring으로 stale Memory를 교체하는 적응형 Agent 시스템

코드 공개 여부: 공개

코드 저장소 보기

키워드

Bilevel Coordination Game(이중 수준 조정 게임)Approximate Potential Game(근사 잠재 게임)Grounded Gate(환경 근거 게이트)Stochastic Reflective Memory Ascent(확률적 반성 메모리 상승)Multi-agent LLM(다중 에이전트 LLM)Verifier Risk(검증기 위험)Re-anchoring(재정렬)

용어 해설

이중 수준 조정 게임(Bilevel Coordination Game): — 상위 Leader가 작업 분할과 전략 메모리를 갱신하고, 하위 Follower들이 배정된 하위 작업과 실행 메모리를 갱신하는 구조입니다. 두 수준의 갱신 속도와 목적을 분리해 작업 분해가 작업자 간 상호작용과 최종 효용에 미치는 영향을 표현합니다.
근사 잠재 게임(Approximate Potential Game): — 각 작업자의 일방적 행동 변화가 전체 잠재 함수의 변화와 거의 일치하는 게임입니다. 작업자 간 결합 효과에 따른 오차 여유를 허용하며, 이 논문에서는 그 여유를 상호작용 이웃 수와 결합 강도의 곱으로 제한합니다.
환경 근거 게이트(Grounded Gate): — 생성된 텍스트만 보지 않고 실행 결과, Simulator 상태, 테스트 Harness 또는 Formal Checker처럼 환경에 의존하는 신호로 메모리 제안의 채택 여부를 결정하는 필터입니다. 텍스트가 같은 두 환경을 구분하는 정보원을 제공합니다.
확률적 반성 메모리 상승(Stochastic Reflective Memory Ascent): — LLM이 생성한 Reflection을 바로 저장하지 않고, 고정된 평가 절차로 후보 메모리의 Verifier Risk를 다시 계산한 뒤 위험이 엄격히 감소할 때만 커밋하는 방식입니다. 평가가 정확하면 메모리 위험이 단조 감소합니다.
구간별 정상 환경(Piecewise-Stationary Environment): — 환경의 평가 기준이나 최적 행동이 유한한 시점에서 바뀌지만 각 구간 안에서는 고정된 환경입니다. 현재 메모리와 후보 메모리를 변화한 기준으로 다시 평가하는 Re-anchoring이 이전 메모리에 고착되는 문제를 줄입니다.

다중 에이전트 LLM의 이중 수준 조정과 검증 게이트 반성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크

다양한 모델의 협력으로 라벨 없는 추론 학습

LLM 메모리를 프로그램 분석 엔진으로 전환하기: Lemmalog

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크

다양한 모델의 협력으로 라벨 없는 추론 학습

LLM 메모리를 프로그램 분석 엔진으로 전환하기: Lemmalog