Akamai 데이터 과학자가 분석한 AI 봇 트래픽의 급증과 인터넷 생태계의 변화

섹션별 상세

AI 봇 트래픽은 지난 1년 동안 모든 산업군에 걸쳐 약 400%의 폭발적인 성장세를 기록했다. 현재 전체 검증된 봇 트래픽 중 AI 봇이 차지하는 비중은 1% 내외로 작지만, 그 증가 속도와 영향력은 기존의 검색 엔진 봇을 압도하는 수준으로 나타났다.

AI 봇은 대규모 모델 학습을 위한 '트레이닝 봇'과 사용자의 실시간 질의에 응답하기 위해 데이터를 수집하는 '페처(Fetcher)'로 구분된다. Google과 같은 전통적 강자는 이미 구축된 인덱스를 활용하지만, OpenAI나 Anthropic 같은 신흥 기업들은 실시간 추론 시점에 외부 웹사이트를 직접 호출하는 페칭 방식을 적극적으로 활용한다.

산업군에 따라 AI 봇을 대하는 전략적 입장이 극명하게 갈린다. 호텔이나 소매업 같은 이커머스 기업은 가격 비교 및 검색 결과 상단 노출을 위해 AI 봇의 접근을 최적화하려 노력하는 반면, 뉴스나 디지털 미디어 기업은 콘텐츠 무단 수집으로 인한 유입 감소를 우려하여 강력한 차단 정책을 시행한다.

AI 에이전트가 결제 지점(Point of Sale)에서 직접 거래를 수행하는 사례가 등장하기 시작했다. 이는 기업이 인간 고객뿐만 아니라 '에이전트 고객'에게 물건을 팔기 위해 데이터를 구조화하고 판매 전략을 수정해야 하는 새로운 경제 모델의 도래를 의미한다.

봇 관리 방식이 '차단 여부'에서 '의도 파악 및 식별'로 진화하고 있다. Akamai는 자가 식별 신호를 보내는 협력적 봇뿐만 아니라, 정체를 숨기는 봇을 탐지하기 위해 네트워크 텔레메트리와 행동 분석 모델을 결합하여 봇의 실제 의도를 실시간으로 판별한다.

용어 해설

페처(Fetcher): — 사용자가 AI 모델에 질문을 던졌을 때, 모델이 실시간으로 외부 웹사이트에 접속하여 최신 정보를 가져오는 봇 또는 메커니즘이다. 전통적인 검색 엔진의 정적 인덱싱과 달리 추론 시점에 즉각적으로 발생하며, 최신 뉴스나 가격 정보를 반영하는 데 필수적이다.
에이전트형 AI(Agentic AI): — 단순히 텍스트를 생성하는 수준을 넘어, 특정 목표를 달성하기 위해 스스로 계획을 세우고 외부 도구나 API를 사용하여 행동을 수행하는 AI 시스템이다. 웹사이트를 탐색하거나 결제를 시도하는 등 자율적인 동작을 수행하는 것이 특징이다.
봇 관리(Bot Management): — 웹사이트에 접속하는 트래픽 중 인간과 봇을 구분하고, 각 봇의 의도에 따라 허용, 차단 또는 속도 제한 등의 조치를 취하는 보안 및 운영 전략이다. 모든 봇을 차단하는 대신 비즈니스에 유익한 봇은 최적화하여 받아들이는 정교한 제어가 핵심이다.
텔레메트리(Telemetry): — 네트워크 장치나 애플리케이션으로부터 수집되는 원격 측정 데이터로, 접속 위치, 브라우저 특성, 패킷 전송 패턴 등을 포함한다. 봇이 스스로의 정체를 밝히지 않더라도 이러한 행동 신호를 분석하여 실제 정체와 의도를 파악하는 데 사용된다.
결제 시스템 상호작용(POS Interaction): — AI 에이전트가 웹사이트의 결제 지점(Point of Sale)에 직접 접근하여 구매 프로세스를 진행하는 행위이다. 이는 인간의 개입 없이 AI가 경제적 거래를 수행함을 의미하며, 보안 및 고객 경험 설계에 새로운 과제를 던진다.

기술

Akamai Bot Manager
ChatGPT User Agent
Google Vertex AI
Neural Networks

활용 사례

실시간 가격 비교 봇 대응
AI 에이전트 기반 자동 결제 시스템

언급된 리소스

문서Akamai AI Pulse Blogs

문서llvm ir back to human-readable source language? (Stack Overflow)