MetaClaw: 야생에서 메타 학습하고 진화하는 에이전트

기존 AI 에이전트는 배포 후 능력이 고정되어 변화하는 사용자 요구에 대응하기 어렵다. MetaClaw는 사용자와의 상호작용 중 발생한 실패를 분석해 즉시 새로운 기술을 습득하고, 사용하지 않는 시간에 모델을 스스로 최적화하여 지속적으로 성능을 개선한다.

기존 LLM 에이전트는 고정된 가중치와 프롬프트를 사용하므로, 배포 후 사용자의 작업 패턴이 변하면 성능이 저하된다. 이는 딥러닝의 고정된 추론 과정이 실시간 학습을 지원하지 못하기 때문에 발생하는 한계다. MetaClaw는 이를 해결하기 위해 프롬프트 기반의 빠른 적응과 가중치 기반의 느린 최적화라는 두 가지 시간적 루프를 결합한다. 실패한 대화에서 핵심 규칙을 추출해 즉시 프롬프트에 추가하는 방식은 경사 하강법 없이도 즉각적인 행동 교정을 가능하게 한다. 동시에 축적된 데이터를 바탕으로 LoRA를 활용해 모델의 가중치를 미세 조정한다. 이때 OMLS 스케줄러가 사용자의 수면 시간이나 캘린더 일정을 확인해 서비스 중단 없이 최적의 타이밍에 학습을 수행함으로써 에이전트가 시간이 지날수록 똑똑해지는 선순환 구조를 만든다.

MetaClaw는 메타 모델 M = (theta, S) 구조를 가진다. 여기서 theta는 기본 LLM 정책의 파라미터이고, S는 재사용 가능한 행동 지침들의 집합인 스킬 라이브러리다. 수식 a ~ pi_theta(. | tau, Retrieve(S, tau))에 따라, [작업 tau와 스킬 라이브러리 S를 입력으로] -> [유사도 기반 검색을 수행해 관련 스킬을 뽑고 정책 pi_theta에 주입하는 연산을 수행해] -> [행동 a를 얻고] -> [이는 모델이 외부 지식을 활용해 상황에 맞는 최적의 결정을 내렸음을 의미한다.]

스킬 기반 고속 적응은 실패한 궤적 D_sup을 입력으로 받아 LLM Evolver가 새로운 스킬을 생성한다. 수식 S_g+1 = S_g U E(S_g, D_sup_g)에 따라, [현재 스킬 라이브러리 S_g와 실패 데이터 D_sup_g를 입력으로] -> [Evolver 모델 E를 통해 새로운 스킬을 생성하고 합집합 연산을 수행해] -> [확장된 라이브러리 S_g+1을 얻고] -> [이는 모델이 다음 작업에서 동일한 실수를 반복하지 않도록 돕는 지침이 추가되었음을 의미한다.]

기회주의적 정책 최적화는 RL과 PRM을 사용한다. OMLS가 감지한 유휴 시간에 클라우드 LoRA 파인튜닝을 실행하며, 수식 theta_t+1 = theta_t + alpha grad_theta E[R(pi_theta)]에 따라, [현재 가중치 theta_t와 보상 R의 그래디언트를 입력으로] -> [학습률 alpha를 곱해 가중치를 더하는 연산을 수행해] -> [새로운 가중치 theta_t+1을 얻고] -> [이 값은 모델이 더 높은 보상을 받는 행동을 할 확률을 높이는 방향으로 조정되었음을 의미한다.]

데이터 오염 방지를 위해 스킬 버전 관리를 도입한다. 스킬이 업데이트되면 이전 버전의 데이터를 학습 버퍼에서 제거하여, 모델이 이미 해결된 과거의 실패 사례에 매몰되지 않고 최신 상태의 행동 패턴을 학습하도록 보장한다.

MetaClaw-Bench 실험 결과, Kimi-K2.5 모델에 전체 파이프라인을 적용했을 때 정확도가 21.4%에서 40.6%로 크게 향상되었다. 이는 기준 모델인 GPT-5.2의 41.1%에 근접하는 수치이며, 작업 완수율 측면에서는 8.25배의 개선을 보였다.

스킬 주입만으로도 성능 개선이 뚜렷했다. GPT-5.2 모델의 경우 정확도가 41.1%에서 44.0%로 상승했으며, 복잡한 연구 파이프라인인 AutoResearchClaw에서는 가중치 업데이트 없이도 시스템의 견고성이 18.3% 향상되었다.

분석 결과, 강력한 모델일수록 스킬 주입의 효과가 상대적으로 작았으나, 상대적으로 약한 모델은 스킬 주입과 가중치 최적화의 결합을 통해 모델 간의 성능 격차를 효과적으로 메울 수 있음을 확인했다.

MetaClaw는 프록시 기반 아키텍처를 채택하여 로컬 장치에는 가벼운 에이전트 로직만 두고, 무거운 LLM 추론과 LoRA 학습은 클라우드 엔드포인트를 활용한다. 이를 통해 하드웨어 제약 없이 상용 수준의 LLM을 지속적으로 최적화할 수 있다.

OMLS(Opportunistic Meta-Learning Scheduler)는 시스템 키보드/마우스 입력 비활성 시간, 사용자 설정 수면 시간, Google Calendar API를 통한 회의 일정 등을 종합하여 학습 윈도우를 결정한다. 학습 중 사용자가 복귀하면 체크포인트를 저장하고 즉시 중단하는 메커니즘을 갖추고 있다.

학습 알고리즘으로는 GRPO(Group Relative Policy Optimization)를 사용하며, 이는 별도의 가치 모델 없이도 안정적인 온라인 정책 그래디언트 학습을 가능하게 한다. 보상 신호는 PRM(Process Reward Model)을 통해 단계별 실행의 정확성을 평가하여 생성한다.

기존의 메모리 기반 에이전트가 스킬 라이브러리를 정적인 데이터베이스로 취급했던 것과 달리, MetaClaw는 스킬 진화와 가중치 최적화를 상호 보완적인 메타 학습 과정으로 통합했다는 점이 기술적 차별점이다.

유휴 시간 감지 기능이 사용자의 설정에 의존하므로 모든 배포 환경에서 일반화되지 않을 수 있다. 또한, 스킬 라이브러리가 비대해질 경우 검색 비용과 컨텍스트 윈도우 소모가 증가할 가능성이 있다.