IBM과 UC 버클리, IT-Bench와 MAST를 활용한 엔터프라이즈 에이전트 실패 원인 진단

섹션별 상세

MAST(Multi-Agent System Failure Taxonomy) 프레임워크는 에이전트의 실패를 시스템 설계(FC1), 에이전트 간 정렬(FC2), 작업 검증(FC3)의 3개 범주와 14개 세부 실패 모드로 구조화한다. 이는 단순한 성공률 지표가 제공하지 못하는 구체적인 실패 원인을 '실패 시그니처' 형태로 변환하여 개발자가 어떤 기술적 개입이 필요한지 판단하게 돕는다.

모델의 성능 체급에 따라 실패의 양상이 근본적으로 다르게 나타난다. Gemini-3-Flash는 실행당 평균 2.6개의 실패 모드를 보이며 특정 단계에서만 문제가 발생하는 '정밀한 실패' 패턴을 보인 반면, GPT-OSS-120B는 5.3개의 실패 모드가 중첩되며 초기 추론 실수가 전체 작업의 탈선으로 이어지는 '연쇄적 붕괴' 현상을 겪는다.

성공한 실행에서도 빈번히 발생하는 '비치명적 결함'과 실패로 직결되는 '치명적 결함'을 구분했다. 단계 반복(FM-1.3)은 성공한 Kimi-K2 실행의 90% 이상에서 관찰되는 정상적인 탐색 과정인 반면, 잘못된 검증(FM-3.3)은 Gemini-3-Flash의 실패 사례에서 성공 사례 대비 52%나 높게 나타나는 핵심 실패 요인이다.

Gemini-3-Flash는 높은 효율성을 보이지만 실제 근거(Ground Truth)를 확인하지 않고 성공을 자부하는 '과잉 확신' 문제가 주요 병목이다. 이를 해결하기 위해 에이전트가 스스로 종료를 결정하게 두지 않고, AlertManager 해제나 Kubernetes 상태 변경과 같은 외부 도구의 증거를 필수적으로 요구하는 외부 검증 게이트 도입이 필요하다.

Kimi-K2는 추론과 실행의 불일치(FM-2.6)가 실패의 92%를 차지하며, 종료 조건을 인지하지 못해 무한 루프에 빠지거나 조기에 포기하는 경향이 강하다. GPT-OSS-120B는 긴 작업 과정에서 대화 기록을 유실(FM-1.4)하여 원래의 경고 메시지를 망각하는 등 오픈 소스 모델 특유의 문맥 유지 한계를 드러냈다.

용어 해설

사이트 신뢰성 공학(SRE): — IT 서비스의 가용성, 성능, 효율성을 보장하기 위해 소프트웨어 엔지니어링 방법론을 운영에 적용하는 직무이다. 본 아티클에서는 Kubernetes 장애 진단이나 클라우드 비용 관리 등 에이전트가 수행해야 할 복잡한 IT 자동화 작업의 배경이 된다.
장기 작업(Long-horizon Task): — 수십 단계 이상의 추론과 도구 호출이 연속적으로 이어지는 복잡한 작업을 의미한다. 작업이 길어질수록 초기 오류가 누적되거나 문맥을 상실할 위험이 커지므로 에이전트의 신뢰성을 평가하는 핵심 지표가 된다.
실패 모드(Failure Mode): — 시스템이 의도한 기능을 수행하지 못하는 구체적인 방식이나 원인을 분류한 것이다. MAST 프레임워크는 이를 14가지로 세분화하여 에이전트가 단순히 실패했다는 사실을 넘어 '왜' 실패했는지 진단하는 도구로 활용한다.
상태 머신(State Machine): — 시스템이 가질 수 있는 상태와 상태 간의 전이 조건을 명확히 정의한 수학적 모델이다. 에이전트의 종료 조건이나 반복 루프를 모델의 자율적 판단에만 맡기지 않고 외부에서 결정론적으로 제어하기 위한 대안으로 제시된다.
지면 진리(Ground Truth): — 모델의 예측값이나 판단 결과와 대조하여 정답으로 간주되는 실제 데이터를 의미한다. 에이전트가 작업을 완료했다고 주장할 때, 실제 시스템의 메트릭이나 로그를 통해 이를 확인하는 과정에서 필수적인 기준이 된다.