멀티 에이전트 시스템의 성능을 결정짓는 요소: 페르소나보다 의존성 그래프가 중요하다

실용적 조언

멀티 에이전트 시스템 구축 시 페르소나 설정에 시간을 쏟기보다 의존성 그래프를 설계하고 체크리스트를 도입하는 데 집중하라.

섹션별 상세

의존성 그래프 기반 조정(CDG)의 효과가 확인됐다. 의존성 그래프를 사용하여 상위 작업을 먼저 완료하고 하위 에이전트에게 정확한 정보를 제공했을 때, 4가지 계약 변경 유형에서 12/12의 성공률을 기록했다. 반면 단순 병렬 처리 방식은 3/12의 성공률에 그쳤다.

모델 성능과 의존성의 관계가 입증됐다. 단순 병렬 처리 방식은 Claude 3 Opus에서는 6/6 성공했으나 Claude 3.5 Sonnet에서는 0/6을 기록했다. 이는 더 강력한 모델이 버그를 숨기거나 추측으로 해결할 수 있음을 보여주며, 의존성 조정이 모델 간 성능 격차를 줄이는 불변성을 제공함을 시사한다.

페르소나 설정의 무용성이 확인됐다. 5가지 역할을 대상으로 페르소나 설정 유무를 비교한 결과, 페르소나 설정은 성능에 아무런 측정 가능한 이득을 주지 않았다. 오히려 체크리스트 제공이 성능 향상의 핵심 레버로 작용했다.

에이전트 수와 문제 해결력의 관계가 나타났다. 3명의 어드바이저가 15개의 문제를 모두 해결했으며, 4명부터 10명까지의 추가 어드바이저는 성능에 기여하지 않았다. 이는 에이전트 수보다 적절한 구조와 검증이 중요함을 나타낸다.

용어 해설

멀티 에이전트(Multi-Agent): — 여러 AI 에이전트가 협력하여 복잡한 작업을 수행하는 시스템 구조입니다. 각 에이전트가 특정 역할을 맡아 상호작용하며 전체 목표를 달성하는 것이 핵심입니다.
변경 의존성 그래프(Change Dependency Graph): — 작업 간의 의존 관계를 정의한 구조입니다. 상위 작업을 먼저 완료하고 그 결과를 하위 에이전트에게 전달하여 작업 순서를 최적화하는 데 사용됩니다.
테스트 오라클(Test Oracle): — 시스템의 출력이 올바른지 판단하는 기준이나 메커니즘입니다. 본문에서는 TypeScript 컴파일러와 사전 등록된 정답 키를 사용하여 에이전트의 성능을 객관적으로 평가했습니다.
플라시보 대조(Placebo-Controlled): — 특정 변수가 성능에 실제 영향을 주는지 확인하기 위해 대조군을 설정하는 실험 방식입니다. 본문에서는 페르소나 설정이 성능에 미치는 영향을 검증하기 위해 사용되었습니다.

언급된 도구

Claude 3 Opus추천

LLM

Claude 3.5 Sonnet추천

LLM

언급된 리소스

GitHubRepo with all fixtures, keys, and raw results