ABot-AgentOS: 장기 멀티모달 메모리와 검증 루프를 갖춘 범용 로봇 에이전트 운영체제

장기적이고 다단계인 물리적 과제에서는 단순한 인식-행동 매핑만으로는 안정적 수행을 보장할 수 없으며, 지속 가능한 기억과 실행 검증이 필요하다. 이 논문은 고수준 추론과 저수준 제어 사이에 에이전트 운영층을 두어 장기 계획, 근거보강 검색, 절차적 스킬 실행, 그리고 실패 기반의 안전한 자가 개선 루프를 결합했다는 점에서 실무적 의미가 크다. 공개된 벤치마크와 수치 결과는 해당 구조가 여러 메모리 벤치마크와 장기 임무에서 성능 향상을 제공함을 보여준다.

장기 엠보디드 과제는 인식과 행동을 연결하는 단순한 파이프라인으로는 해결하기 어렵다. 관찰은 부분적이며 실행은 불확실하고 완료 신호가 모호하기 때문에, 높은 수준의 논리적 계획과 반복적 절차 실행을 분리해야 한다. ABot-AgentOS는 메인 LLM을 장면 조건화된 계획자로 두고 반복적이고 세부적인 절차는 스킬 러너가 처리하게 분리함으로써 이 문제를 해결한다. 메인 계획자는 메모리와 현재 상태를 사용해 목표·완료 조건을 유지하고 스킬 러너는 지역적 탐색·복구·증거 수집을 수행해 글로벌 추론의 맥락을 유지한다. 또한 단순 텍스트 청크 회수 대신 시드 노드 선별 후 타입화된 엣지로 서브그래프를 확장하는 검색 전략을 사용해 정답의 시간적·공간적 근거를 보존하고, 결과마다 검색 트레이스를 남겨 실패 원인을 정확히 추적할 수 있게 했다.

시스템 구조는 세 계층으로 구성된다. 입력은 엣지 Tiny LLM이 매턴 처리하고 필요할 때 클라우드 Large LLM을 호출하는 엣지-클라우드 라우팅을 따른다. Agent Harness는 메인 LLM(장면 계획자), Skill Runner(절차 실행), Verifier(다단계 검증)로 구성되어 고수준 추론과 로컬 실행을 분리한다. 메모리 계층은 사설(로봇별)과 공유(클라우드)로 분리되며 프라이버시 판단을 통해 업로드를 제어하고 맵·시각·대화 등을 소스-근거형 노드로 압축해 저장한다. 검색은 쿼리의 임베딩 유사도, 어휘 중복, 메타 필터, 기대 노드 타입을 가중 합한 시드 점수로 상위 시드를 선택한 뒤 정해진 깊이와 토큰 예산으로 타입화된 이웃을 확장해 근거 서브그래프를 생성한다. 실패-유도 자가 진화는 분할 단위 평가에서 실패 트레이스를 수집해 진단, 제안, 컴파일, 게이트 검증의 순서로 에보-에셋을 생성하며 동일 분할 누수를 방지하기 위해 후보 에셋은 이후 스플릿에서만 적용된다.

초기 평가에서 ABot-AgentOS Static은 메모리 벤치마크에서 유의미한 성능을 기록했다. 논문은 LoCoMo에서 87.5, OpenEQA EM-EQA에서 59.9(EM 기준), Mem-Gallery에서 88.6, NExT-QA Acc@All에서 76.5를 보고했고 자가 진화 적용 시 LoCoMo 88.7, OpenEQA 60.4, Mem-Gallery 89.0으로 추가 개선을 보였다. 에이전트 계층 비교 실험에서는 동일 모델(Qwen3.6-Plus) 기준 단일 컨트롤러 대비 ABot-AgentOS 구조가 TSR과 GCR을 각각 약 12%p와 11%p 개선했으며 더 강한 메인 모델 교체 시 추가 향상이 관찰되었다.

전체 아키텍처는 입력-계획-스킬-검증-메모리의 반복 루프로 구성된다. 메모리는 그래프 𝒢=(𝒱,ℰ)로 표현되며 각 노드는 스키마 버전, 소스 참조, 시간 참조, 근거 요약, 신뢰도, 어댑터별 필드를 JSON 형태로 저장한다. 검색 단계는 수식 s(q,v)=λsem ssem(q,v)+λlex slex(q,v)+λmeta smeta(q,v)+λtype stype(q,v)로 시드 점수를 계산하고 상위 시드를 선택한 뒤 엣지 확장으로 서브그래프를 구성한다. 학습 파이프라인은 텍스트 기반 환경 생성→교사 궤적 증류→SFT 초기화→온라인 RL(GiGPO advantage 포함)의 순서로 작동하며 RL 보상은 LLM-as-a-Judge가 턴 레벨과 에피소드 레벨 신호를 결합해 제공한다. 에피소드 보상은 r^{episode}(τ)=λeffReff(τ)+λconsRcons(τ)+λcompRcomp(τ)로 구성되며 전체 리턴은 R(τ)=∑_t }+r^{episode}(τ).

논문에서 명시된 한계는 주로 관찰·인지 오류와 정밀한 활성 관찰 부족에 관한 것이다. 실험 결과는 VLM 관찰 도구가 사람·객체를 혼동하거나 실내-외 연결이 있는 장면에서 위치 오판을 일으켜 NPC 위치 추정과 대상 탐색을 어렵게 만든다고 기술했다. 또한 현재 에이전트는 세밀한 능동 관찰 전략과 프레임 선택 정책에서 개선 여지가 있으며 실제 UE/레코더 실행의 불확실성도 평가의 일관성에 영향을 미친다.