AgentDropoutV2: 테스트 시점 교정-또는-거부 가지치기를 통한 멀티 에이전트 시스템 정보 흐름 최적화

멀티 에이전트 시스템에서 한 에이전트의 작은 실수가 전체 결과로 번지는 '오류 전파' 문제를 해결한다. 추가적인 모델 학습 없이도 실시간으로 오류를 감지하고 수정하거나 차단함으로써 시스템의 신뢰성을 크게 높인다.

멀티 에이전트 시스템(MAS)은 여러 LLM이 협력하여 복잡한 문제를 풀지만, 한 에이전트가 생성한 잘못된 정보가 다음 단계로 전달되며 눈덩이처럼 불어나는 '오류 전파'에 취약하다. 기존에는 통신 구조를 고정하거나 모델을 직접 미세 조정(Fine-tuning)해 이를 막으려 했으나, 이는 실시간으로 발생하는 다양한 오류에 유연하게 대응하기 어렵고 비용이 많이 든다.

AgentDropoutV2는 에이전트 간의 통신 경로에 '능동형 방화벽'을 설치하는 원리로 작동한다. 에이전트가 답변을 내놓으면 이를 즉시 다음 에이전트에게 보내지 않고, '교정기(Rectifier)'가 과거의 실패 데이터에서 추출한 '오류 지표(Indicator)'들과 대조한다. 이는 마치 시험 감독관이 오답 노트를 참고해 학생의 풀이 과정 중 특정 논리적 오류를 지적하고 다시 풀어보게 하는 것과 같다.

만약 교정기가 오류를 발견하면 에이전트에게 구체적인 피드백을 주어 수정을 유도하고, 최대 반복 횟수 내에 수정되지 않는 '회복 불가능한' 정보는 과감히 삭제(Pruning)한다. 이를 통해 시스템 전체의 논리적 무결성을 유지하며, 결과적으로 추가 학습 없이도 복잡한 수학 및 코드 생성 작업에서 성능을 극대화한다.

전체 아키텍처는 에이전트 실행 및 교정 단계와 글로벌 폴백(Fallback) 체크로 구성된다. 에이전트 $A_i$가 출력 $o_i$를 생성하면, 교정기 $\Phi_{rect}$가 작업 시나리오와 행동 유형에서 키워드를 추출하여 쿼리 벡터 $q_i$를 생성한다. [작업 시나리오 $S_{scen}$ 및 행동 유형 $S_{act}$ 입력 → Embedding 모델 $M_{emb}$ 연산 → 쿼리 벡터 $q_i$ 생성 → 지표 풀에서 유사도 기반 Top-K 지표 검색]

검색된 지표 $I_k$를 바탕으로 교정기는 출력 $o_i$의 위반 여부를 이진 플래그 $v_k \in \{0, 1\}$로 판정한다. [에이전트 출력 $o_i$와 지표 $I_k$ 입력 → 논리 검증 연산 → 위반 여부 $v_k$ 및 진단 근거 $r_k$ 출력 → 하나라도 $v_k=1$이면 오류 상태 활성화]. 오류가 감지되면 피드백 $F^{(t)}$를 에이전트에게 전달해 재생성을 요청하며, 최대 횟수 $T_{max}$ 도달 시에도 해결되지 않으면 해당 출력을 공집합($\emptyset$)으로 처리해 전파를 차단한다.

지표 풀 구축을 위해 오프라인에서 실패 궤적 $D_{fail}$을 수집하고, 교사 모델 $\Phi_{teach}$를 통해 오류 패턴을 이름, 정의, 트리거 조건으로 구조화한다. 중복 제거를 위해 새로운 지표 $I_{new}$와 기존 지표 간의 코사인 유사도를 계산하고, LLM 기반 중복 검사 $\Phi_{dedup}$을 거쳐 고유한 오류 패턴만 풀에 추가한다.

수학 도메인 9개 벤치마크에서 AutoGen 베이스라인 대비 평균 6.3%p의 정확도 향상을 기록했다. 특히 난이도가 높은 AIME 24/25 데이터셋에서는 각각 13.33%p, 16.67%p의 큰 폭의 성능 향상을 보이며 복잡한 추론 과제에서의 효과를 입증했다.

코드 생성 벤치마크(MBPP, HumanEval 등)에서도 AutoGen 대비 평균 2.21%p 향상된 48.65%의 정확도를 달성했다. 이는 제안된 프레임워크가 수학뿐만 아니라 엄격한 논리가 요구되는 코드 도메인에서도 범용적으로 작동함을 의미한다.

Ablation study 결과, 반복 교정 횟수($T_{max}$)가 0일 때(교정 없이 차단만 할 때) 성능이 급격히 하락하여 '교정' 메커니즘의 중요성을 확인했다. 또한, 무작위 지표 검색보다 시맨틱 유사도 기반 검색이 성능 향상에 결정적인 역할을 함이 밝혀졌다.

AgentDropoutV2는 테스트 시점(Test-time)에 작동하는 비학습형(Training-free) 정보 흐름 최적화 프레임워크다. 에이전트의 출력을 가로채는 인터셉터, 실패 지표를 관리하는 인디케이터 풀, 그리고 이를 활용해 피드백을 생성하는 렉티파이어(Rectifier)로 구성된다.

핵심 알고리즘은 '교정-또는-거부(Rectify-or-Reject)' 삼상 게이팅 메커니즘을 따른다. 통과(Pass), 재시도(Retry), 거부(Reject)의 세 상태를 통해 유효한 정보만 하류 에이전트로 전달되도록 보장하며, 이는 시맨틱 회로 차단기(Semantic Circuit Breaker) 역할을 수행한다.

시스템 붕괴를 방지하기 위해 '글로벌 폴백(Global Fallback)' 전략을 도입했다. 가지치기로 인해 남은 메시지 수가 안전 임계값($\gamma$) 미만으로 떨어지면 시스템 전체를 리셋하고 처음부터 다시 실행하여, 파편화된 정보에 기반한 잘못된 결론 도출을 방지한다.

지표 풀은 (Name, Definition, Trigger Condition) 튜플 구조로 설계되어 검색 효율성과 진단 정밀도를 동시에 확보했다. 임베딩 모델을 통한 시맨틱 검색과 LLM 기반의 중복 제거 프로세스는 지표 풀의 다양성과 품질을 유지하는 핵심 요소다.

논문은 지표 풀 구축을 위해 초기 실패 궤적 데이터가 필요하다는 점을 언급하며, 데이터가 없는 제로샷 시나리오에서는 일반적인 논리 체크 지표에 의존해야 하므로 성능이 다소 제한될 수 있음을 시사한다.