에이전트 관측성의 맹점: 텍스트 로그가 놓치는 시각적 실패 사례

실용적 조언

웹 에이전트 개발 시 Playwright의 추적 기능 외에도 저주사율 화면 녹화(1-2 fps)를 병행하여 디버깅에 활용하라.
에이전트가 추출한 내용이 '정보 없음'으로 반복될 경우, 이를 단순 성공이 아닌 잠재적 차단 상태로 의심하는 로직을 추가하라.

섹션별 상세

에이전트가 40분 동안 30개의 페이지를 방문했으나 결과물은 3개뿐인 문제가 발생했다. 에이전트는 각 페이지에서 DOM을 정상적으로 추출하고 200 OK 응답을 받았으나, 실제로는 클라우드플레어의 캡차 페이지에 14회 연속으로 갇혀 있었다. 텍스트 로그상으로는 '가격 정보 없음'이라는 구조화된 답변을 내놓았기에 시스템은 이를 성공으로 간주했다.

기존의 Langfuse나 LiteLLM 같은 텍스트 기반 관측성 도구로는 이러한 시각적 실패를 감지할 수 없다. 에이전트는 눈앞에 보이는 캡차 페이지의 HTML을 성실하게 읽고 분석했을 뿐이므로 모델이나 도구 호출 자체에는 오류가 없었다. 이는 텍스트 데이터만으로는 브라우저 세션의 실제 시각적 상태를 파악하는 데 한계가 있음을 시사한다.

작성자는 프로덕션 에이전트 관측성 스택에 항상 켜져 있는 화면 녹화 기능을 포함해야 한다고 제안했다. 1~2 fps 수준의 저주사율 녹화를 통해 세션 ID별로 인덱싱하고 2~7일간 보관하는 방식이다. 이를 통해 사후 분석 시 에이전트가 어떤 시각적 방해 요소에 직면했는지 즉각적으로 확인할 수 있다.

컴퓨터 비전을 활용하여 캡차나 로그인 만료 같은 특정 시각적 패턴을 자동으로 감지하는 텔레메트리 이벤트가 필요하다. 도구 호출 상태와 별개로 클라우드플레어나 Auth0 같은 인터스티셜 페이지의 시그니처를 식별하여 경고를 보낸다. 또한 정상적인 페이지 레이아웃과 현재 화면을 비교하는 시각적 차이 분석(Visual Diff) 도입을 권장했다.

용어 해설

에이전트 관측성(Agent Observability): — AI 에이전트의 내부 상태, 도구 호출, 추론 과정을 모니터링하고 기록하는 기술이다. 텍스트 로그뿐만 아니라 실행 환경의 상태를 추적하여 에이전트가 의도대로 작동하는지 진단하는 데 필수적이다.
DOM 추출(DOM Extraction): — 웹 페이지의 구조화된 데이터(DOM)를 읽어와 필요한 정보를 뽑아내는 과정이다. 에이전트가 웹 브라우징을 수행할 때 페이지 내용을 이해하기 위해 사용하는 핵심 기술이다.
클라우드플레어 중간 페이지(Cloudflare Interstitial): — 봇 접근을 차단하기 위해 실제 콘텐츠 로드 전 표시되는 보안 확인 페이지이다. 캡차(CAPTCHA) 등을 포함하며, 에이전트가 이를 실제 콘텐츠로 오인하여 잘못된 정보를 추출하는 원인이 된다.
VNC 스트림(VNC Stream): — 원격 데스크톱 프로토콜을 통해 브라우저의 화면을 실시간으로 전송하는 기술이다. 텍스트 로그에 나타나지 않는 에이전트의 시각적 실행 상태를 사람이 직접 확인하는 용도로 사용된다.

언급된 도구

Langfuse중립

LLM 트레이싱 및 관측성 프레임워크

LiteLLM중립

LLM 호출 관리 및 텔레메트리 스택

OpenClaw추천

VNC 스트리밍을 지원하는 관리형 브라우저 호스트