Anthropic, Claude Code 및 Cowork에 자율 컴퓨터 제어 기능 추가

섹션별 상세

Anthropic은 Claude Code와 Cowork AI 에이전트가 사용자의 컴퓨터를 자율적으로 제어할 수 있는 업데이트를 발표했다. 이 시스템은 사용자의 명시적 허가를 받은 후 마우스, 키보드, 디스플레이를 직접 조작하여 앱 실행 및 웹 브라우징 작업을 수행한다. 2024년 Claude 3.5 Sonnet에서 처음 선보인 컴퓨터 사용 기능을 실제 프로그래밍 및 협업 도구에 통합한 결과물이다. 이를 통해 사용자는 반복적인 워크플로우를 AI에게 완전히 위임할 수 있게 됐다.

해당 기능은 현재 macOS 환경에서 Claude 데스크톱 앱과 모바일 앱을 연동하여 작동한다. 시스템은 Slack이나 Google Workspace 같은 지원 서비스의 커넥터를 우선적으로 활용하며, 커넥터가 없는 경우 화면을 직접 캡처하고 분석하여 UI를 제어한다. 사용자는 모바일의 'Dispatch' 기능을 통해 외부에서도 데스크톱에 작업을 할당하고 진행 상황을 모니터링할 수 있다. 직접적인 API 연동보다 속도는 느릴 수 있으나 범용적인 앱 제어가 가능하다는 것이 핵심이다.

Anthropic은 이번 업데이트를 연구 프리뷰로 공개하며 복잡한 작업에서의 성능 한계를 명시했다. 화면을 통해 작업을 수행하는 방식은 직접적인 데이터 통합보다 처리 속도가 느리며, 때로는 작업 완수를 위해 여러 번의 시도가 필요할 수 있다. 보안을 위해 Claude는 작업을 시작하기 전 항상 사용자의 명시적인 권한 승인을 요청하도록 설계됐다. 현재는 Claude Pro 및 Max 구독자에게만 한정적으로 제공되어 초기 피드백을 수집 중이다.

Claude가 컴퓨터 제어 권한을 요청하는 팝업창과 앱별 접근 권한 설정 화면이다. — ScreenshotAI가 Finder(파일 접근) 및 Google Chrome(보기 전용) 등에 대한 권한을 요청하는 UI를 보여준다. 이는 Anthropic이 강조한 '명시적 허가' 절차와 실제 작동 방식을 시각적으로 설명하며, 사용자가 어떤 수준의 제어권을 부여할 수 있는지 나타낸다.

용어 해설

컴퓨터 사용 기능(Computer Use): — AI 모델이 인간처럼 화면을 시각적으로 해석하고 마우스 클릭, 키보드 입력, 커서 이동 등을 직접 수행하여 소프트웨어를 조작하는 기술이다. API 연동이 없는 일반 앱도 제어할 수 있어 범용적인 업무 자동화가 가능해진다.
AI 에이전트(AI Agent): — 단순한 텍스트 응답을 넘어 주어진 목표를 달성하기 위해 스스로 계획을 세우고, 외부 도구를 사용하며, 환경과 상호작용하는 자율형 AI 시스템이다. Claude Code와 Cowork가 대표적인 사례에 해당한다.
연구 프리뷰(Research Preview): — 기술을 정식 제품으로 출시하기 전, 실제 환경에서의 성능과 안전성을 테스트하고 사용자 피드백을 수집하기 위해 제한적으로 공개하는 단계이다. 초기 단계이므로 성능이 불안정하거나 특정 환경에서만 작동할 수 있다.

기술

Claude Code
Claude Cowork
Claude 3.5 Sonnet
Dispatch

활용 사례

자율 코드 수정 및 실행
웹 브라우저 기반 데이터 수집
Slack/Google Workspace 연동 업무 자동화