ClawArena: 진화하는 정보 환경에서의 AI 에이전트 벤치마킹

기존 AI 에이전트 평가는 정적인 환경에 치중되어 있어 실제 업무 환경처럼 정보가 수시로 바뀌고 소스 간 내용이 충돌하는 상황을 반영하지 못한다. ClawArena는 다중 소스 갈등 해결, 동적 신념 수정, 암시적 개인화라는 세 가지 핵심 과제를 통해 에이전트가 복잡한 현실 세계에서 얼마나 신뢰할 수 있는 비서 역할을 수행하는지 엄격하게 검증한다.

기존의 LLM 에이전트는 주어진 컨텍스트 내에서 정답을 찾는 데 능숙하지만, 서로 다른 문서가 상충하는 정보를 제공하거나 나중에 들어온 정보가 이전 정보를 뒤집는 상황에서는 취약하다. 이는 에이전트가 단순히 정보를 축적(Accumulation)할 뿐, 새로운 증거에 따라 기존의 믿음을 수정(Revision)하는 논리적 메커니즘이 부족하기 때문이다.

ClawArena는 에이전트에게 '숨겨진 진실(Ground Truth)'을 직접 보여주지 않고, 노이즈가 섞이고 파편화된 '흔적(Traces)'만을 제공한다. 에이전트는 마치 수사관처럼 채팅 기록, 로그 파일, 이메일 등 여러 소스를 대조하여 어떤 정보가 더 신뢰할 만한지 판단해야 한다. 특히 나중에 도착한 감사 보고서가 이전의 채팅 내용을 부정할 때, 에이전트는 자신의 내부 상태를 업데이트하여 최신 진실에 도달해야 한다.

이 과정은 딥러닝의 가중치 업데이트와 유사한 논리적 구조를 가진다. 에이전트는 초기 임베딩된 정보를 고정된 진리로 간주하는 것이 아니라, 새로운 데이터 포인트가 입력될 때마다 기존 예측값과의 오차를 인지하고 이를 수정하는 고차원적인 추론 루프를 수행해야 한다. ClawArena는 이러한 '동적 신념 수정' 능력이 에이전트의 지속 가능성을 결정하는 핵심 요소임을 입증한다.

ClawArena는 6개 계층으로 구성된 시나리오 사양을 사용한다. Layer 0은 시스템에 절대 공개되지 않는 '숨겨진 진실'이며, Layer 1~4는 에이전트가 관찰 가능한 워크스페이스 파일, 세션 기록, 평가 질문, 단계별 업데이트 패키지로 구성된다. Layer 5는 노이즈 제어 및 포맷 제약을 위한 내부 가이드라인이다.

평가는 세 가지 차원의 상호작용으로 설계된다. 다중 소스 갈등 추론(MS)은 서로 다른 소스(예: 개인 메시지 vs 모니터링 로그) 간의 모순을 해결하는 능력을 측정한다. 동적 신념 수정(DU)은 새로운 정보가 주어졌을 때 이전 결론을 철회하고 수정하는 비율을 측정한다. 암시적 개인화(P)는 명시적 지시 없이 사용자의 피드백 패턴을 통해 선호하는 출력 형식을 학습하고 유지하는지 평가한다.

질문 형식은 두 가지다. '세트 선택형(Set-selection)'은 7~9개의 후보 문장 중 정답 조합을 고르는 방식으로 단순 확률적 추측을 방지한다. '셸 기반 실행 체크(Shell-based executable checks)'는 에이전트가 주장하는 바가 실제 파일 시스템 내의 데이터와 일치하는지 샌드박스 환경에서 스크립트로 직접 검증한다. [에이전트의 파일 조작 결과 입력 → 검증 스크립트 실행 → Pass/Fail 결과 출력 → 실제 워크스페이스 접지력 확인]

Claude 4.6 Opus, Sonnet, Haiku와 GPT-5.1, 5.2 등 주요 모델을 평가한 결과, 모델의 규모와 성능이 결과에 결정적인 영향을 미쳤다. Opus가 0.735점으로 가장 높은 성능을 보였으며, Sonnet(0.708), Haiku(0.614), GPT-5.1(0.581) 순으로 나타났다. 모델 간 성능 격차는 최대 15.4%에 달했다.

프레임워크 비교에서는 자기 진화형 기술 프레임워크인 MetaClaw가 0.603점으로 가장 우수했다. 이는 기본 실행기인 OpenClaw(0.579)보다 4.1% 향상된 수치로, 과거의 실패 궤적에서 추출한 기술을 프롬프트에 주입하는 방식이 워크스페이스 접지력을 높이는 데 효과적임을 보여준다.

신념 수정의 난이도는 업데이트의 양보다 '업데이트 설계 전략'에 의해 결정되었다. 단순히 정보가 추가되는 것보다 특정 정보를 정밀하게 타격하여 모순을 일으키는 업데이트가 발생했을 때 모든 모델의 성능이 28~36% 급감했다. 또한 실행 체크 점수와 객관식 점수 간의 상관관계가 낮게 나타나, 추론 능력과 실제 도구 활용 능력이 별개의 역량임을 확인했다.

ClawArena의 아키텍처는 에이전트가 지속적인 비서로서 동작하는 'Persistent Assistant' 환경을 타겟팅한다. 모든 시나리오는 실제 세계의 통계적 분포(이메일 볼륨, 메시지 빈도, 노이즈 비율 등)를 반영하여 생성되었으며, 이를 통해 벤치마크의 실제적 타당성을 확보했다.

핵심 메커니즘인 '신념 수정' 평가는 3단계 점수 체계를 따른다. 새로운 증거를 인용하며 명시적으로 결론을 수정한 경우 1점, 새로운 증거는 인지했으나 결론을 명확히 바꾸지 못한 경우 0.5점, 기존의 잘못된 주장을 고수한 경우 0점을 부여한다. 이는 단순한 정답 여부를 넘어 에이전트의 내부 추론 프로세스의 건전성을 평가하기 위함이다.

개인화 평가는 'Silent-exam' 프로토콜을 사용한다. 초기 라운드에서 사용자의 교정 피드백을 제공한 후, 이후 라운드에서는 아무런 힌트 없이 에이전트가 스스로 학습된 선호도(출력 형식, 톤 등)를 적용하는지 자동화된 스크립트로 체크한다. 이는 에이전트가 장기 기억을 활용해 사용자의 암시적 의도를 파악하는 능력을 정밀하게 측정한다.

현재 ClawArena는 정적인 파일과 단계별로 제공되는 업데이트 패키지를 기반으로 한다. 향후 연구에서는 에이전트가 스스로 쿼리를 생성하고 실시간 정보 소스와 상호작용해야 하는 보다 자유롭고 제약 없는 환경으로의 확장이 필요하다.