ABot-AgentOS: 장기 멀티모달 메모리와 검증 루프를 갖춘 범용 로봇 에이전트 운영체제

왜 중요한가

장기적이고 다단계인 물리적 과제에서는 단순한 인식-행동 매핑만으로는 안정적 수행을 보장할 수 없으며, 지속 가능한 기억과 실행 검증이 필요하다. 이 논문은 고수준 추론과 저수준 제어 사이에 에이전트 운영층을 두어 장기 계획, 근거보강 검색, 절차적 스킬 실행, 그리고 실패 기반의 안전한 자가 개선 루프를 결합했다는 점에서 실무적 의미가 크다. 공개된 벤치마크와 수치 결과는 해당 구조가 여러 메모리 벤치마크와 장기 임무에서 성능 향상을 제공함을 보여준다.

핵심 기여

범용 로봇 Agent OS 아키텍처 설계

고수준 LLM 계획자와 저수준 로봇 컨트롤러 사이에 Agent Harness를 두어 장면 조건화된 계획, 스킬 위임, 컨텍스트 관리, 검증 루프를 제공한다. 이 아키텍처는 스킬을 플러그인 방식으로 적재해 서로 다른 로봇 바디(휴머노이드, 사족보행, 매니퓰레이터)에 재사용 가능하게 설계되었다. 엣지-클라우드 라우팅으로 지연과 비용을 제어하면서 복잡한 추론은 클라우드로 에스컬레이트한다.

Universal Multi-modal Graph Memory와 증거 기반 검색

대화, 시각 증거, 객체 상태, 장소, 시간, 인도성(provenance)을 유형화된 노드·엣지로 기록하는 그래프 메모리 스키마를 도입했다. 검색은 임베딩·어휘·메타데이터·노드 타입을 결합해 시드 노드를 선택하고 지정 깊이만큼 엣지 확장으로 서브그래프를 구성해 근거 컨텍스트를 제공한다. 각 응답은 검색 트레이스를 포함해 근거를 감사할 수 있게 기록되며, 실패 원인(쓰기·검색·시점 정규화 등) 진단에 사용된다.

실행 검증과 스킬-레벨 절차 관리

Verifier를 런타임, 스킬 레벨, 종료 시점의 세 단계로 배치해 언어 수준의 신념과 실제 환경 상태 간 불일치를 줄였다. Skill Runner는 장기간의 절차적 실행을 로컬 컨텍스트에서 처리하고 메인 LLM에는 압축된 결과만 반환해 전역 컨텍스트 오염을 막는다. 이 구조는 반복 충돌, 정체, 조기 종료 같은 장기 실패 모드를 줄이는 데 기여한다.

분할 기반의 실패-유도 자가 진화 프로토콜(에보-에셋)

평가 스플릿 단위로 수집한 실패 추적을 진단해 안전한 수정 제안(evo-asset)으로 컴파일하고, 동일 스플릿에서는 적용하지 않으며 이후 스플릿에서만 승격하는 보수적 프로토콜을 도입했다. 게이트는 목표 성능 개선과 회귀 손실 허용치를 기준으로 에셋을 검증해 승격을 결정한다. 이 방식은 평가 데이터 누수를 차단하면서 파이프라인 수준의 지속적 개선을 가능하게 한다.

핵심 아이디어 이해하기

장기 엠보디드 과제는 인식과 행동을 연결하는 단순한 파이프라인으로는 해결하기 어렵다. 관찰은 부분적이며 실행은 불확실하고 완료 신호가 모호하기 때문에, 높은 수준의 논리적 계획과 반복적 절차 실행을 분리해야 한다. ABot-AgentOS는 메인 LLM을 장면 조건화된 계획자로 두고 반복적이고 세부적인 절차는 스킬 러너가 처리하게 분리함으로써 이 문제를 해결한다. 메인 계획자는 메모리와 현재 상태를 사용해 목표·완료 조건을 유지하고 스킬 러너는 지역적 탐색·복구·증거 수집을 수행해 글로벌 추론의 맥락을 유지한다. 또한 단순 텍스트 청크 회수 대신 시드 노드 선별 후 타입화된 엣지로 서브그래프를 확장하는 검색 전략을 사용해 정답의 시간적·공간적 근거를 보존하고, 결과마다 검색 트레이스를 남겨 실패 원인을 정확히 추적할 수 있게 했다.

방법론

시스템 구조는 세 계층으로 구성된다. 입력은 엣지 Tiny LLM이 매턴 처리하고 필요할 때 클라우드 Large LLM을 호출하는 엣지-클라우드 라우팅을 따른다. Agent Harness는 메인 LLM(장면 계획자), Skill Runner(절차 실행), Verifier(다단계 검증)로 구성되어 고수준 추론과 로컬 실행을 분리한다. 메모리 계층은 사설(로봇별)과 공유(클라우드)로 분리되며 프라이버시 판단을 통해 업로드를 제어하고 맵·시각·대화 등을 소스-근거형 노드로 압축해 저장한다. 검색은 쿼리의 임베딩 유사도, 어휘 중복, 메타 필터, 기대 노드 타입을 가중 합한 시드 점수로 상위 시드를 선택한 뒤 정해진 깊이와 토큰 예산으로 타입화된 이웃을 확장해 근거 서브그래프를 생성한다. 실패-유도 자가 진화는 분할 단위 평가에서 실패 트레이스를 수집해 진단, 제안, 컴파일, 게이트 검증의 순서로 에보-에셋을 생성하며 동일 분할 누수를 방지하기 위해 후보 에셋은 이후 스플릿에서만 적용된다.

주요 결과

초기 평가에서 ABot-AgentOS Static은 메모리 벤치마크에서 유의미한 성능을 기록했다. 논문은 LoCoMo에서 87.5, OpenEQA EM-EQA에서 59.9(EM 기준), Mem-Gallery에서 88.6, NExT-QA Acc@All에서 76.5를 보고했고 자가 진화 적용 시 LoCoMo 88.7, OpenEQA 60.4, Mem-Gallery 89.0으로 추가 개선을 보였다. 에이전트 계층 비교 실험에서는 동일 모델(Qwen3.6-Plus) 기준 단일 컨트롤러 대비 ABot-AgentOS 구조가 TSR과 GCR을 각각 약 12%p와 11%p 개선했으며 더 강한 메인 모델 교체 시 추가 향상이 관찰되었다.

기술 상세

전체 아키텍처는 입력-계획-스킬-검증-메모리의 반복 루프로 구성된다. 메모리는 그래프 𝒢=(𝒱,ℰ)로 표현되며 각 노드는 스키마 버전, 소스 참조, 시간 참조, 근거 요약, 신뢰도, 어댑터별 필드를 JSON 형태로 저장한다. 검색 단계는 수식 s(q,v)=λsem ssem(q,v)+λlex slex(q,v)+λmeta smeta(q,v)+λtype stype(q,v)로 시드 점수를 계산하고 상위 시드를 선택한 뒤 엣지 확장으로 서브그래프를 구성한다. 학습 파이프라인은 텍스트 기반 환경 생성→교사 궤적 증류→SFT 초기화→온라인 RL(GiGPO advantage 포함)의 순서로 작동하며 RL 보상은 LLM-as-a-Judge가 턴 레벨과 에피소드 레벨 신호를 결합해 제공한다. 에피소드 보상은 r^{episode}(τ)=λeffReff(τ)+λconsRcons(τ)+λcompRcomp(τ)로 구성되며 전체 리턴은 R(τ)=∑_t }+r^{episode}(τ).

한계점

논문에서 명시된 한계는 주로 관찰·인지 오류와 정밀한 활성 관찰 부족에 관한 것이다. 실험 결과는 VLM 관찰 도구가 사람·객체를 혼동하거나 실내-외 연결이 있는 장면에서 위치 오판을 일으켜 NPC 위치 추정과 대상 탐색을 어렵게 만든다고 기술했다. 또한 현재 에이전트는 세밀한 능동 관찰 전략과 프레임 선택 정책에서 개선 여지가 있으며 실제 UE/레코더 실행의 불확실성도 평가의 일관성에 영향을 미친다.

키워드

Agent OS(로봇 에이전트 운영체제)Multi-modal Graph Memory(멀티모달 그래프 메모리)Embodied Benchmark(엠보디드 벤치마크)Self-evolution(자가 진화)Skill Runner(스킬 러너)

용어 해설

범용 멀티모달 그래프 메모리(Universal Multi-modal Graph Memory): — 대화, 시각 증거, 장소, 시간, 관계, 실행 추적을 유형화된 노드와 엣지로 저장하는 구조화된 장기 메모리이다. 입력을 소스-근거(source-grounded) JSON 형태의 노드로 압축하고, 검색 시 시드 노드를 확장해 관련 근거 서브그래프를 구성해 답변 근거로 제공한다. 이 방식은 단편 텍스트 회수 대신 증거 연결과 시간·공간 관계를 보존해 검증 가능한 회상과 오류 진단을 가능하게 한다.
스킬 러너(절차 실행 서브에이전트)(Skill Runner): — 하위 목표를 지속적으로 실행하는 로컬 서브에이전트로서, 반복 시도·관찰·복구 전략과 중간 상태를 관리해 메인 LLM에 압축된 결과만 반환하는 실행 계층이다. 이를 통해 주 모델의 컨텍스트가 절차적 세부로 오염되는 것을 방지하고 장기 과제에서 절차 연속성을 유지한다. 스킬 러너는 성공·실패 이유와 장면 발견 결과를 구조화해 상위 계획에 피드백을 제공한다.
자가 진화(에보-에셋)(Self-Evolution (evo-asset)): — 실행 중 수집된 실패 추적을 진단해 안전한 수정 자원(evo-asset)으로 컴파일하고 분할 규약에 따라 이후 평가 스플릿에서만 승격해 적용하는 파이프라인이다. 에셋은 메모리 작성, 근거 선택, 프레임 선택, 시점 정규화 등 파이프라인 수준의 국소적 개선을 선언적으로 기록한다. 이 절차는 현역 데이터 누수를 방지하면서 시간이 지남에 따라 시스템 품질을 점진적으로 향상시킨다.
하이브리드 그래프 리트리버(Hybrid Graph Retriever): — 쿼리 임베딩 유사도, 어휘 겹침, 메타데이터 필터, 노드 타입 가중치를 결합해 시드 노드를 선택한 뒤 유형화된 엣지를 따라 서브그래프를 확장하는 검색기이다. 시드 점수는 λsem·ssem+λlex·slex+λmeta·smeta+λtype·stype로 합성되며 선택된 증거를 토대로 증거-근거 컨텍스트를 직렬화해 답변자에 주입한다. 이 방식은 독립 텍스트 청크 회수보다 관계 기반 증거 집합을 구성해 정답 근거를 강화한다.
엣지-클라우드 라우팅(Edge-Cloud Routing): — 경량 Tiny LLM을 엣지에서 매턴 실행하고 복잡한 추론이 필요할 때만 대형 클라우드 LLM으로 에스컬레이션하는 계층적 추론 정책이다. 라우팅 정책은 학습으로 얻어진 결정규칙을 사용해 지연과 비용을 제어하며, 로컬으로 해결 가능한 작업은 엣지에서 처리해 실시간성을 유지한다. 이 구조는 비용-지연-능력 사이의 트레이드오프를 시스템 수준에서 관리하게 한다.

ABot-AgentOS: 장기 멀티모달 메모리와 검증 루프를 갖춘 범용 로봇 에이전트 운영체제

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM Agent 시스템을 그래프로 조직하는 방법

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 기사

LLM Agent 시스템을 그래프로 조직하는 방법

에이전트 네이티브 메모리 시스템의 구조와 평가 방법론