챕터별 상세
Multi-Agent 시스템의 등장 배경과 한계
단일 에이전트 시스템은 타 시스템과의 협업이 어렵고 복잡한 환경에서 예측 불가능한 시나리오에 대응하기 힘들다는 한계가 있다. 에이전트가 한 명뿐일 경우 잘못된 선택이 시스템 전체의 실패로 이어지는 리스크가 크다. 이를 해결하기 위해 인간 사회를 모방하여 여러 에이전트가 협력, 경쟁, 분산 처리를 수행하는 Multi-Agent 시스템이 도입되었다.
MultiAgentBench와 MARBLE 프레임워크
기존 벤치마크가 단일 에이전트 평가에 치중된 점을 개선하기 위해 MultiAgentBench가 제안되었다. 이 벤치마크는 MARBLE이라는 프레임워크를 통해 에이전트의 역할, 관계, 추론 방식을 정의한다. 입력 구성(Configuration), 에이전트 그래프 모듈, 인지 모듈(Cognitive Module)을 통해 에이전트 간의 복잡한 상호작용과 지능적인 계획 수립 과정을 측정할 수 있는 구조를 갖췄다.
MARBLE은 Multi-agent Reasoning Benchmark for LLM Evaluation의 약자로, 에이전트 간의 관계를 그래프 형태로 모델링하여 평가하는 도구이다.
MARBLE의 에이전트 그래프 및 인지 모듈 설계
에이전트 간의 소통 규칙을 Star, Tree, Graph, Chain의 네 가지 구조로 정의하여 무분별한 메시지 교환으로 인한 노이즈를 방지한다. 인지 모듈은 Shared Memory를 활용해 각 에이전트의 행동 결과와 타 에이전트의 반응을 기록하고 다음 단계의 컨텍스트로 반영한다. 이를 통해 에이전트가 과거의 경험으로부터 스스로 전략을 수정하고 발전시키는 성찰(Reflection) 과정을 구현했다.
MultiAgentBench의 평가 지표와 실험 결과
단순 성공 여부가 아닌 Milestone 기반의 작업 완료 지표(KPI), 협업 지표(CS), 경쟁 지표를 사용하여 에이전트의 역량을 다각도로 분석했다. 실험 결과 GPT-4o-mini가 전반적으로 높은 성능을 보였으나, 마인크래프트와 같은 물리적 제약이 있는 환경에서는 모든 모델이 고전했다. 에이전트 수가 늘어날수록 개별 에이전트의 기여도는 낮아지지만, 지식 결합을 통해 최종 결과물의 품질은 향상되는 경향이 나타났다.
KPI(Key Performance Indicator)는 에이전트가 작업 과정 중 주요 마일스톤을 얼마나 달성했는지를 측정하는 정량적 지표이다.
Collab-Overcooked: 협업 능력의 정밀 측정
기존 협업 과제들이 단일 에이전트만으로 수행 가능한 설계 오류가 있음을 지적하며 Collab-Overcooked가 제안되었다. 주방을 두 구역으로 분리하고 정보의 비대칭성(한 명만 레시피를 앎)을 부여하여 반드시 소통이 일어나야만 과제를 해결할 수 있도록 설계했다. 에이전트가 협업을 시작하는 능력(Initiating)과 상대의 요청에 적절히 응답하는 능력(Responding)을 핵심 평가 요소로 설정했다.
Overcooked는 플레이어들이 협력하여 요리를 완성하는 유명 게임으로, AI 협업 연구의 대표적인 환경으로 쓰인다.
Collab-Overcooked 실험 분석 및 시사점
실험 결과 Claude 3.5 Sonnet이 고난도 레벨에서 가장 우수한 협업 능력을 보였으며, 오픈소스 중에는 DeepSeek-R1이 두각을 나타냈다. 모든 모델이 지시를 따르는 응답 능력은 우수했으나, 자발적으로 협업을 요청하는 부분에서 병목 현상이 발생했다. Attention 분석 결과 모델이 협업에 필요한 핵심 정보에 제대로 집중하지 못할 때 실패가 발생하며, 이를 수동으로 교정했을 때 성능이 크게 개선됨이 확인됐다.
Attention 분석은 모델이 텍스트를 생성할 때 입력값 중 어떤 부분에 가중치를 두는지를 시각화하여 추론 과정을 파악하는 기법이다.
용어 해설
- 다중 에이전트 시스템(Multi-Agent System)
- — 여러 개의 독립적인 AI 에이전트가 상호작용하며 공통의 목표를 달성하거나 경쟁하는 시스템이다. 단일 에이전트의 한계인 협업 불가와 복잡한 환경에서의 높은 실패 리스크를 극복하기 위해 도입되었으며, 분산 처리와 적응성을 통해 효율적인 문제 해결을 가능하게 한다.
- 벤치마크(Benchmark)
- — AI 모델이나 시스템의 성능을 객관적으로 측정하고 비교하기 위한 표준화된 테스트 세트이다. 이 영상에서는 LLM 기반 에이전트들의 협업, 경쟁, 의사소통 능력을 정량적으로 평가하기 위한 새로운 환경과 지표들을 소개하는 맥락에서 사용된다.
- 지시 이행(Instruction Following)
- — 사용자나 시스템이 내린 자연어 명령을 모델이 정확히 이해하고 수행하는 능력이다. 에이전트 시스템에서 다른 에이전트의 요청에 응답하거나 주어진 규칙을 준수하며 작업을 완수하는 데 필수적인 기초 역량으로 평가된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 07.수집 2026. 05. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
