macOS 데스크톱 자동화 에이전트의 좌표 계산 및 UI 인식 한계

사용자들은 데스크톱 자동화의 고질적인 문제인 '좌표 오차'에 대해 공감하며 특히 커스텀 UI를 사용하는 앱에서의 어려움을 토론했다.

• 에이전트가 클릭 명령을 내릴 때 (x + width/2, y + height/2) 공식을 사용하여 항상 요소의 중앙을 타겟팅하도록 코드를 수정하라.
• 중요한 워크플로에서는 액션 실행 후 UI 요소의 속성 변화를 체크하거나 시각적 피드백을 확인하는 루프를 추가하라.

• 데스크톱 에이전트 구현 시 접근성 API가 반환하는 좌측 상단 좌표 대신 반드시 중앙 좌표를 계산하여 클릭하도록 보정 로직을 구현해야 한다.
• 앱의 커스텀 렌더링으로 인한 좌표 불일치 문제를 해결하기 위해 액션 수행 전후의 스크린샷 비교를 통한 UI 상태 검증 단계가 필요하다.
• 접근성 트리의 정보는 앱이 제공하는 데이터에 전적으로 의존하므로 완벽한 신뢰보다는 예외 처리를 고려한 설계가 중요하다.