본문으로 건너뛰기

Anthropic 클로드 기술 라이브 스트림: Computer Use와 Claude 3.5 Sonnet 업데이트

Claude 3.5 Sonnet의 성능 향상과 AI가 직접 컴퓨터 화면을 인식하고 조작하는 Computer Use 기능의 아키텍처 및 실전 활용 사례가 포함되어 있다.

챕터별 상세

00:00

Claude 3.5 Sonnet 성능 업데이트 및 벤치마크 결과

Claude 3.5 Sonnet의 최신 업데이트 버전을 공개했다. 코딩 테스트인 SWE-bench Verified에서 49%의 점수를 기록하며 이전 모델 대비 성능이 대폭 향상되었다. 대학 수준의 추론 능력과 일반 지식 벤치마크에서도 업계 최고 수준의 지표를 달성했다. 특히 시각적 추론 능력이 강화되어 복잡한 차트나 다이어그램 해석 정확도가 높아졌다.
08:45

Computer Use 기능의 작동 원리와 아키텍처

AI가 인간처럼 컴퓨터를 조작하는 Computer Use 기술의 내부 구조를 공개했다. 모델은 화면의 스크린샷을 실시간으로 캡처하여 픽셀 좌표를 계산한다. 계산된 좌표를 바탕으로 마우스 이동, 클릭, 드래그, 키보드 입력 명령을 생성한다. 이러한 명령은 전용 드라이버를 통해 운영체제에 전달되어 실제 동작으로 이어진다. 각 동작 후에는 다시 화면을 캡처하여 작업의 성공 여부를 확인하는 폐쇄 루프 시스템으로 구성된다.
16:20

실전 데모: 복잡한 웹 워크플로 자동화

실제 웹 브라우저를 통한 여행 계획 수립 데모를 수행했다. 사용자가 '내일 날씨에 맞는 옷차림을 추천하고 쇼핑몰 장바구니에 담아줘'라고 요청하자 클로드가 브라우저를 실행했다. 기상청 사이트에서 온도를 확인한 뒤 의류 쇼핑몰에 접속하여 적절한 상품을 검색했다. 상품 상세 페이지에서 옵션을 선택하고 장바구니 버튼을 클릭하는 전 과정을 사람의 개입 없이 완수했다.
24:10

개발자를 위한 API 통합 및 보안 가이드

Computer Use 기능을 애플리케이션에 통합하는 방법을 안내했다. Anthropic API의 새로운 도구 정의 형식을 사용하여 화면 해상도와 제어 권한을 설정한다. 보안을 위해 에이전트의 활동 범위를 특정 디렉터리나 네트워크로 제한하는 샌드박스 환경 구축이 필수적이다. 또한 모델이 생성한 명령을 실행하기 전에 사용자의 최종 승인을 받는 'Human-in-the-loop' 구조 설계를 권장한다.
python
import anthropic; client = anthropic.Anthropic(); response = client.beta.messages.create(model='claude-3-5-sonnet-20241022', max_tokens=1024, tools=[{'type': 'computer_20241022', 'name': 'computer', 'display_width_px': 1024, 'display_height_px': 768, 'display_number': 1}], messages=[{'role': 'user', 'content': 'Save this page as a PDF'}])

클로드의 Computer Use 기능을 호출하기 위한 API 설정 예시

용어 해설

컴퓨터 사용 기능(Computer Use)
AI 모델이 컴퓨터 화면의 시각 정보를 해석하고 마우스 클릭이나 키보드 입력과 같은 실제 동작을 수행하는 기술이다. 기존의 텍스트 기반 응답을 넘어 운영체제 수준에서 도구를 직접 조작할 수 있게 하여 업무 자동화의 범위를 획기적으로 넓힌다.
도구 사용(Tool Use)
LLM이 외부 API나 함수를 호출하여 필요한 정보를 가져오거나 특정 작업을 수행하는 능력이다. 모델이 스스로 판단하여 적절한 도구를 선택하고 실행 인자를 생성함으로써 단순 생성 이상의 복잡한 문제를 해결할 수 있게 한다.
샌드박스(Sandbox)
외부의 영향으로부터 격리된 안전한 실행 환경을 의미한다. AI 에이전트가 컴퓨터를 조작할 때 발생할 수 있는 보안 사고나 시스템 파괴를 방지하기 위해 독립된 가상 머신이나 컨테이너 내에서 작업을 수행하도록 제한하는 장치이다.
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 02. 04.수집 2026. 02. 21.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.