PalmClaw: 모바일 폰에서 직접 실행되는 온디바이스 에이전트 프레임워크

대부분의 LLM 기반 에이전트는 데스크톱이나 서버에서 GUI 시뮬레이션을 통해 모바일을 제어해왔고 이 방식은 화면 레이아웃 변화와 긴 동작 시퀀스에 취약하다. PalmClaw은 에이전트 구성 요소를 모바일 기기 내부에서 호스팅하고 장치 기능을 구조화된 툴로 노출하여 GUI 의존을 줄였다. 그 결과 사용자 권한과 파일 경계가 명확히 관리되며 실사용성 측면에서 성공률과 응답 속도 측면에서 유의한 성능 개선이 확인되었다.

에이전트의 기본 문제는 LLM이 환경과 상호작용할 때 관찰과 행동을 연결하는 방식에 있다. 기존 모바일 에이전트는 화면의 스크린샷을 관찰하고 탭·스와이프 같은 GUI 연쇄 동작으로 목표를 달성하는데, 이 방식은 인터페이스 변화에 취약하고 단계가 많아 지연과 실패가 잦다. PalmClaw은 이러한 긴 GUI 시퀀스를 제거하고 장치 자원을 함수형 툴로 노출하여 모델의 출력이 직접 실행 가능한 구조체(툴 호출)로 전환되게 했다.

PalmClaw는 입력을 세션에 할당한 뒤 여섯 가지 소스(시스템 지침, 런타임 컨텍스트, 공유 메모리, 활성 스킬과 스킬 요약, 최근 대화와 툴 트레이스, 사용 가능한 툴 스펙)를 조합해 모델 컨텍스트를 구성한다. 모델에는 메시지와 함께 툴 스펙이 제공되며 원격 LLM API는 이 컨텍스트로부터 응답을 반환한다. 응답에 툴 호출이 포함되면 PalmClaw가 기기 내 툴 레지스트리와 매칭해 스키마·권한·워스페이스 검사를 순차 적용한 뒤 해당 기기 함수를 실행하고 그 결과를 세션에 구조화된 형태로 저장한다.

주요 벤치마크 결과에서 PalmClaw은 MobileTask에서 비교대상 중 가장 높은 성공률 97.1%를 기록했고 평균 완료 시간은 17.7초로 표시되어 GUI 기반 대조군보다 평균 시간이 94.9% 단축되었다. 토큰 사용량과 액션 수(LLM 호출 기준)도 대조군보다 현저히 적어 지연과 비용 측면의 개선이 확인되었다. 추가로 배포·운영 비교에서는 별도 컴퓨터·CLI·브리지 없이 모바일에서 직접 실행되므로 설정 단계와 소요 시간이 줄어들었음이 관찰되었다.

아키텍처는 모바일 애플리케이션 내부에 세션, 메모리, 스킬, 툴 레지스트리, 에이전트 루프를 포함한다. 각 세션은 대화 내용, 툴 트레이스, 첨부파일, 세션 전용 워크스페이스를 저장하며 입력은 기존 세션으로 라우팅되거나 신규 세션으로 생성된다. 메모리는 장기 공유 메모리와 세션별 요약 두 계층으로 유지되며 일정 창이 채워지면 별도 LLM 호출로 과거 메시지를 요약해 두 계층을 갱신한다.

논문에서 명시된 제한 중 하나는 일부 파일 경로나 전역 접근이 기기 설정 수준의 권한(예: all files access)을 필요로 하여 자동 권한 프롬프트로 해결되지 않는다는 점이다. PalmClaw는 LLM 추론을 원격 API로 제공하므로 원격 제공자에 의한 데이터 흐름과 프라이버시 문제가 남아 있다는 점이 지적되었다. 또한 평가와 구현은 특정 Android 기기와 특정 LLM 백본(DeepSeek-V4-Flash)에 기반해 수행되어 다른 하드웨어·모델 환경에서 동일한 성능을 보장한다는 주장은 논문에서 제한적으로 다루어졌다.