X-OmniClaw 기술 보고서: 멀티모달 이해와 상호작용을 위한 통합 모바일 에이전트

모바일 환경에서 다양한 모달리티를 하나의 파이프라인으로 처리해야 한다. X-OmniClaw는 on-device에서 Omni Perception, Omni Memory, Omni Action의 세 축을 연계해 프라이버시를 보호하고 지연을 줄이며 고신뢰성 자동화를 가능하게 한다.

단계1: 모바일 에이전트는 로컬에서 perception, memory, action의 순환 루프를 통해 자율적으로 동작해야 한다. 기존의 PC-기반 OpenClaw은 모바일 맥락에 부합하지 않으므로, X-OmniClaw는 3축(Omni Perception, Omni Memory, Omni Action)을 하나의 상호의존 스택으로 결합한다. 단계2: Omni Perception은 UI 상태, 실세계 맥락, 음성을 통합해 scene-grounded intent를 추출하고, Temporal Alignment로 모달리티를 동기화한다. 단계3: Omni Memory는 런타임 컨텍스트를 유지하는 Working Memory와 로컬 데이터에서 distill된 Long-term Memory를 결합해 개인화된 맥락을 제공한다. 단계4: Omni Action은 XML 기반 구조와 시각 정보를 결합해 신뢰도 높은 실행 경로를 형성하고, Behavior Cloning과 Trajectory Replay를 통해 재사용 가능한 스킬 트레이너를 구축한다.

전체 흐름은 멀티모달 Trigger → 계획(Agent Loop) → groundin g → Android Action의 순환으로 구성된다. 1) Omni Perception: Unified Entry, Vision/Voice 프로세싱, AEC, Ring Buffer 및 Temporal Alignment를 통한 시점 동기화. 2) Scene-Grounded Intent Understanding: VLM이 현재 씬과 질의를 해석해 직접 답하거나 구조화된 의도를 생성. 3) Omni Memory: 런타임 컨텍스트를 저장하고 Gallery Images를 포함한 다중 소스에서 Personal Knowledge를 추출해 메모리 Artifact로 축적. 4) Omni Action: Observation, Reasoning(Identify Identity, Select Skills, Retrieve Memory, Respond) → Execution으로 이어지며, XML + OCR 기반의 하이브리드 관측으로 클릭 위치를 정밀 조정. 5) Trajectory Cloned Execution: Deeplink/Intent를 이용한 빠른 진입과 방문 페이지의 실행 주소를 재현 가능한 형태로 저장하고, 필요 시 더 단순한 진입 방식으로 복구한다.

초록에 따르면 다용도 데모를 통해 X-OmniClaw가 상호작용 효율성과 작업 신뢰성을 향상시킨다. 시나리오 A(카메라 정보를 활용한 실행), B(메모리 기반 1-탭 영상 제작), C(Behavior Cloning 및 Trajectory Replay)에서 연속적 맥락 유지 및 신속한 실행이 가능함을 제시한다. 구체적 수치 벤치마크는 본 문서에 제시되어 있지 않다.

1. 전체 아키텍처: Edge-native Android 기반으로 Omni Perception, Omni Memory, Omni Action의 삼중 스택으로 구성. 2) 핵심 메커니즘: Temporal Alignment, VLM 기반 Scene Understanding, OCR/XML 기반 하이브리드 관측, UI 트리와 Deeplink를 이용한 실행 주소 재현. 3) 차별점: 클라우드 의존 최소화, 로컬 메모리로 개인화 강화, Trajectory Replay를 통한 안정성 향상. 4) 구현/학습: 멀티모달 모델 우선 적용 후 메모리 유지/정합, Dumpsys 기반 엔트리 포인트 추적, 스킬 카드로 재사용 가능한 실행 프레임 구축.