이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
웹 에이전트가 API를 통해 웹을 자동화할 것이라는 주장은 웹의 긴 꼬리 영역을 간과한 것이다. 대부분의 웹사이트는 API를 제공하지 않으며, 브라우저는 텍스트가 아닌 픽셀을 렌더링하는 게임 엔진과 같아 시각적 인지 능력이 필수적이다. Navigator 모델은 스크린샷을 입력받아 클릭과 타이핑을 수행하며, 필요시 자바스크립트를 작성해 작업을 처리한다. 이러한 시각 기반 에이전트는 벤치마크 성능을 상회하며, 향후 웹 자동화의 핵심이 될 것이다.
챕터별 상세
API 기반 에이전트화의 한계
웹 에이전트가 API를 통해 웹을 자동화할 것이라는 주장은 웹의 긴 꼬리 영역을 간과한 것이다. 대부분의 웹사이트는 API를 제공하지 않으며, 브라우저는 텍스트가 아닌 픽셀을 렌더링하는 게임 엔진과 같아 시각적 인지 능력이 필수적이다. Navigator 모델은 스크린샷을 입력받아 클릭과 타이핑을 수행하며, 필요시 자바스크립트를 작성해 작업을 처리한다. 이러한 시각 기반 에이전트는 벤치마크 성능을 상회하며, 향후 웹 자동화의 핵심이 될 것이다.
웹의 긴 꼬리(long-tail)는 API가 없는 수많은 소규모 웹사이트를 의미하며, 이들은 인프라가 매우 느리게 변한다.
bash
curl -X POST https://flights.google.com -H 'X-API-Key: YOUR_API_KEY' -d '{"origin": "MIA", "destination": "PMI", "departureDate": "2026-08-15", "passengers": [{"type": "ADT"}], "cabin": "Business"}'API를 통한 항공권 검색 예시
웹사이트의 현실
식당 메뉴판이나 FOIA 요청 사례를 보면 정보가 API가 아닌 PDF나 이미지 형태로 존재한다. 이러한 구조는 수십 년간 변하지 않았으며, 자동화하기 어렵다. 웹은 인간의 눈을 위해 설계되었으므로, 기계가 이를 이해하려면 시각적 인지 능력이 필요하다.
브라우저는 렌더링 엔진
브라우저는 텍스트를 읽는 것이 아니라 픽셀을 렌더링하는 게임 엔진과 같다. 농구 점수나 상품 재고 정보는 HTML에 직접 적혀있지 않고, 자바스크립트가 렌더링한 결과물로 존재한다. 따라서 픽셀이 정보의 진실이며, 에이전트는 이를 시각적으로 해석해야 한다.
Navigator 모델
Navigator 모델은 스크린샷을 입력받아 클릭과 타이핑을 수행하며, 필요시 자바스크립트를 작성해 작업을 처리한다. 이는 웹의 구조를 이해하는 대신 시각적 정보를 직접 처리하는 방식이다. 모델은 스크린샷을 통해 작업 성공 여부를 확인하며, 복잡한 웹 작업도 자동화할 수 있다.
html
<div class="ScoreStripGameSkeleton_gameContainer__bcST2" data-testid="score-strip-skeleton"><!-- Empty placeholder that shows loading UI --></div>농구 점수 로딩 UI의 플레이스홀더
html
<option value="10mm box with 1g crystalline powder">10mm box with 1g crystalline powder</option>상품 옵션 선택을 위한 HTML 코드
성능과 비용
컴퓨터 사용 모델은 Mind2Web 벤치마크에서 높은 성능을 보이며, 지속적으로 개선되고 있다. 모델의 크기를 줄여 지연 시간과 비용을 최적화하는 것이 핵심이다. Navigator 모델은 기존 모델 대비 더 빠르고 저렴하게 작업을 수행할 수 있다.
Mind2Web은 웹 에이전트의 성능을 평가하는 벤치마크이다.
json
{"valid": "true", "discount_percent": "22", "discount_amount": "£49.53", "subtotal_before": "£225.12", "total_after": "£175.59", "error_message": "None", "notes": "Promotion ends 25 May 2026. Discount applied to eligible products."}할인 코드 적용 결과 JSON
용어 해설
- 모델 컨텍스트 프로토콜(MCP)
- — AI 모델이 외부 도구 및 데이터와 상호작용하기 위한 표준화된 프로토콜이다. 영상에서는 웹 에이전트가 API를 통해 웹을 자동화할 것이라는 주장의 핵심 요소로 언급되었으나, 긴 꼬리 영역의 웹사이트에는 적용되기 어렵다는 한계가 지적된다.
- 정보 자유법(FOIA)
- — 미국 정부 기관의 기록에 대한 대중의 접근을 보장하는 법이다. 영상에서는 학교 교육구의 조달 정보를 얻기 위해 FOIA 요청을 하는 사례를 들어, 웹의 정보가 API가 아닌 PDF나 이미지 형태로 존재하여 자동화가 어렵다는 점을 설명하는 맥락으로 사용되었다.
- 컴퓨터 사용(Computer Use)
- — AI 에이전트가 인간처럼 브라우저를 직접 조작하여 작업을 수행하는 기술이다. 텍스트 기반의 API 호출 대신 스크린샷을 입력받아 클릭, 타이핑, 스크롤 등의 동작을 수행하며, 웹의 시각적 정보를 직접 처리하여 API가 없는 웹사이트도 자동화할 수 있게 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 14.수집 2026. 08. 15.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
