Claw-Anything: 사용자의 디지털 월드에 광범위한 접근을 허용하는 상시 작동 개인 비서 벤치마크

에이전트의 작동 범위를 장기 히스토리와 다중 백엔드 서비스, 다기기 인터페이스로 확장하면 현실 세계의 노이즈를 포함한 복잡한 디지털 환경에서의 의도 추론과 조치 수행 능력이 평가된다. Claw-Anything는 200개의 평가 태스크와 2,000개의 훈련 환경을 자동 생성하는 파이프라인을 제공하고, 이를 통해 현재 최첨단 모델이 광범위한 맥락에서 얼마나 잘 작동하는지 측정한다. 또한 1,500개의 성공 trajectories로 Qwen3.5-27B를 파인튜닝하면 Pass@1이 약 23.7% 포인트 개선되는 것을 확인했다.

출발점: 기존 디지털 에이전트 벤치마크는 한정된 상태나 짧은 horizon의 태스크에 집중해 다면적 맥락에서의 추론/실행을 충분히 평가하지 못한다. 해결 원리: 3차원 맥락 확장(장기 이벤트 스트림, 다서비스, 다기기 인터페이스)을 통해 에이전트의 관찰 범위와 행동 공간을 현실적으로 확장하고, 자동 파이프라인으로 태스크를 대규모로 생성한다. 달라지는 점: 프로액티브 태스크를 포함하고, 노이즈/충돌/페르소나 풍부화가 성능 저하의 주요 원인이며, 이를 통해 모델이 실제 환경에서의 실행을 얼마나 잘 처리하는지 더 엄밀하게 측정한다.

1. 전체 접근: 에이전트를 디지털 환경에 배치하고 reactive와 proactive 태스크를 해결하도록 설계한다. 2) 주요 메커니즘: 환경은 P(페르소나), D(장치), F(서비스 상태), L(장기 이벤트 스트림)로 구성되며, 다-round의 이벤트 주입으로 환경이 확장된다. 3) 태스크 생성 파이프라인: Stage I Iterative Digital Env Synthesis, Stage II Task & Verifier Generation, Stage III Automatic Filtering, Stage IV Human Verification with Execution Support. 4) 평가: 실행 결과를 기준으로 Pass/Fail 및 점수 체계를 적용하고, 다중 경로 해석 가능성에 따른 경로 기반 점수를 부여한다.

주요 벤치마크 결과: Open-Source 모델 중 Qwen3.5-27B는 Pass@1 9.8에서 시작해 33.5까지 상승, Pass@3은 52.0, Pass^3은 15.5였다(Claw-Anything-Qwen3.5-27B). Qwen3.6-27B는 Pass@1 22.5, Pass@3 42.0, Pass^3 6.0. GLM-5.1은 Pass@1 31.7, Pass@3 47.0, Pass^3 17.0. Claude Opus 4.7은 Pass@1 31.8, Pass@3 48.0, Pass^3 13.5. GPT-5.5는 Pass@1 34.5, Pass@3 53.5, Pass^3 20.0. Claw-Anything-Qwen3.5-27B의 성능은 Qwen3.5-27B 대비 Pass@1에서 +0.11 포인트의 개선을 보였다. 추가로, 1,500개의 trajectories로 fine-tuning 시 Pass@1이 약 23.7% 향상되었다. 또한, 단일 CLI 태스크와 CLI+GUI 태스크 간의 성능 차이, 이벤트 스트림의 존재, 서비스 간 협력의 필요성 등이 Ablation으로 확인되었다. 실패 모드는 Investigation-Execution 간 간극이 주된 원인으로 관찰되며, GUI 통합은 CLI+GUI에서 일부 태스크의 해결 가능성을 높이는 것으로 나타났다.

아키텍처: 디지털 환경은 Persona, Event Stream, Docker- linux/android 기반의 Mock/Real GUI Services, CLI Tools, 서비스 로그, App States 등으로 구성된다. Task 생성 파이프라인은 Stage I~IV로 나뉘며, 각 단계는 LLM을 이용해 Fixture, Log/Liason, Persona 업데이트를 생성하고, Task Query와 Verifier를 생성한 뒤 자동 필터링과 인간 검증을 거친다. 수학적/알고리즘적 기초는 주로 LLM 기반 시뮬레이션과 실행 정합성 검증이며, 다중 경로 평가 방식은 단일 정답 경로에 편향되지 않도록 설계되었다. 학습 세부사항은 10에폭, 배치 크기 16, LR(2e-5)로 시작하고 cosine decay를 적용한다. 모델 텍스트 입력 길이는 최대 100k 토큰으로 설정된다.

Claw-Anything은 실세계 시스템과의 완전한 연동을 목표로 하나, 멀티서비스가 실제 시스템으로 완전히 대체된 것은 아니며, 디바이스 생태계도 현실의 모든 디바이스를 포괄하지 못한다. 또한 평가에서의 독립된 verifer가 존재하나, 여전히 도메인별 편향 가능성이 있다.