Claude에게 구조화된 데스크탑 UI 접근 권한을 부여하는 MCP 서버 'Touchpoint' 개발

작성자가 고등학생임에도 불구하고 기술적 완성도가 높은 도구를 공개한 것에 대해 커뮤니티는 매우 긍정적인 반응을 보이고 있으며, 특히 공식 기능의 좌표 오차에 불만을 가졌던 사용자들의 관심이 높다.

• Claude를 이용한 데스크탑 자동화 시 좌표 오차가 발생한다면 Touchpoint MCP 서버를 설치하여 사용해볼 것
• macOS 외의 환경(Windows, Linux)에서 Claude의 컴퓨터 제어 기능을 구현하고 싶을 때 유용한 대안임

모델 컨텍스트 프로토콜(MCP)

— Anthropic이 제안한 LLM과 외부 데이터 소스 또는 도구 간의 통신 표준 프로토콜이다. 모델이 로컬 파일, 데이터베이스, API 등에 안전하고 일관된 방식으로 접근할 수 있게 하여 에이전트의 기능을 확장하는 핵심 인프라 역할을 한다.

접근성 API(Accessibility API)

— 운영체제가 화면 낭독기나 보조 공학 기기를 위해 UI 요소의 이름, 역할, 상태 정보를 제공하는 인터페이스이다. 픽셀 정보 대신 버튼, 텍스트 필드 등 구조화된 데이터를 제공하므로 자동화 도구가 UI를 정확하게 식별하고 제어하는 데 필수적이다.

컴퓨터 유즈(Computer Use)

— Anthropic의 Claude 모델이 사람처럼 화면을 보고 마우스와 키보드를 조작하는 기능이다. 주로 스크린샷을 찍어 시각적으로 분석한 뒤 클릭할 좌표를 계산하는 비전 기반 방식을 사용하며, 범용성이 높지만 좌표 오차인 '환각'이 발생할 수 있다.

OS월드(OSWorld)

— 운영체제 환경에서 AI 에이전트의 성능을 평가하기 위한 벤치마크 데이터셋이다. 웹 브라우징, 문서 편집 등 실제 데스크탑 환경의 복잡한 작업을 수행하는 능력을 측정하며, 현재 Claude의 Computer Use는 약 72.5%의 정확도를 기록하고 있다.