역할로 분리된 두 에이전트가 만든 에이전트 평가의 진짜 교훈

이 글은 LLM 에이전트를 다루는 벤치마크에서 자주 등장하는 두 가지 실패 모드(실행 실패와 이해 실패)를 밝히고, 탐색과 추론을 분리한 이중 에이전트 구조가 이 문제를 해결하는 실험적 근거를 제시한다. 실행 실패는 retrieved된 정보를 모델의 자체 추론이 덮어쓸 때 발생하고, 이해 실패는 표면적인 의심 대상이 사실상의 해답이 아닐 때 생긴다. 저자는 Theorist, Explorer, Conductor로 구성된 분리 토폴로지의 도입이 이러한 실패를 줄이고, 모델의 크기나 단일 에이전트 구조에 의존하지 않는 해결책임을 보여준다. 또한 동일한 실험 설정에서 토폴로지의 효과가 모델 간 차이에 덜 의존적임을 시사한다. 실험은 단일 사례의 트랩에 집중하였으나, 향후 다른 케이스에서도 재현해 한계를 검증하고 naming-completeness와 같은 추가 개선점을 제시한다.