TL;DR

agent-device는 AI 에이전트가 실제 기기와 시뮬레이터에서 앱 상태를 직접 확인하고 구조화된 접근성 스냅샷과 요소 참조(@eN)를 통해 결정적 조작을 수행하며 필요한 시점에만 스크린샷·비디오·로그·프로파일 등의 증거를 수집하는 CLI이다. 플랫폼별 백엔드(XCTest, ADB, AT-SPI 등)를 사용해 세션 인식 명령을 전달하고 Node용 타이핑된 클라이언트로 브리지 통합을 제공하므로 탐색적 상호작용을 .ad 스크립트나 Maestro YAML로 내보내어 CI에서 재생 가능한 검사로 전환할 수 있다. 크로스플랫폼과 에이전트 친화적 설계로 PR 검증·에이전트 피드백 루프·성능 프로파일링에 활용되며 로컬과 CI에서 실측 증거 기반의 회귀 검출과 디버깅을 가능하게 한다.

핵심 포인트

• AI 에이전트용 워크플로에 최적화되어 구조화된 접근성 스냅샷과 요소 참조(@eN)를 통해 토큰 효율적인 상태 전달을 우선했으며, 이는 일반적 화면 이미지 의존 방식보다 에이전트의 의사결정을 더 안정적으로 만들었다.
• 증거 수집을 세밀하게 제어하여 스크린샷·비디오·로그·네트워크 트래픽·오디오 레벨·프로파일을 필요 시점에만 수집함으로써 대역폭과 저장소 사용을 줄이고 CI 재현성 확보에 집중했다.
• 탐색적 상호작용을 .ad 스크립트와 Maestro YAML로 변환해 로컬 디버깅에서 CI 재생까지 단일 워크플로로 연결함으로써 에이전트의 임시 실험을 곧바로 자동화 검사로 전환하는 흐름을 제공했다.
• 앱의 접근성 트리에서 구조화된 스냅샷을 생성해 요소에 @eN 참조를 부여하고 에이전트가 결정적 조작을 수행할 수 있게 했다. 이 방식은 시각적 스크린샷 대신 구조화된 레이블·역할·테스트ID를 우선 사용하므로 에이전트의 행동이 더 안정적이고 재현 가능해졌다. 스냅샷은 상호작용 전후에 즉시 갱신되어 조작 대상이 유효한지 확인한다.

이미지 분석