Ego2Web: 1인칭 시점 비전에 기반한 웹 에이전트 벤치마크

기존 웹 에이전트는 디지털 화면 정보에만 의존하여 현실 세계의 맥락을 반영하지 못하는 한계가 있었다. 이 논문은 사용자의 1인칭 시점 영상과 웹 실행을 연결하는 최초의 벤치마크를 제시함으로써, AR 글래스 등을 활용한 진정한 개인용 AI 비서 개발의 기술적 토대를 마련했다.

기존 웹 에이전트는 브라우저 스크린샷이라는 2차원 디지털 데이터만을 입력으로 받아 다음 행동을 결정한다. 하지만 실제 사용자는 "내가 방금 본 저 과자를 주문해줘"와 같이 물리적 세계의 경험을 바탕으로 명령을 내린다. Ego2Web은 이러한 간극을 메우기 위해 1인칭 시점 비디오를 입력의 핵심 축으로 도입했다.

이 벤치마크의 핵심은 시공간적 접지(Spatio-temporal grounding)이다. 에이전트는 비디오의 긴 흐름 속에서 사용자가 가리키거나 상호작용한 특정 객체를 정확히 식별하고, 이를 웹상의 추상적인 기호나 텍스트와 연결해야 한다. 이는 단순한 이미지 분류를 넘어 비디오의 맥락을 이해하고 웹 인터페이스를 조작하는 복합적인 추론 능력을 요구한다.

결과적으로 Ego2Web은 AI 에이전트가 디지털 세계를 넘어 물리적 세계와 디지털 세계를 끊김 없이 연결하는 능력을 갖추었는지 측정하는 척도가 된다. 이는 AI가 단순한 도구를 넘어 사용자의 일상을 공유하는 동반자로 진화하기 위한 필수적인 단계이다.

Ego2Web은 모델과 인간이 협업하는 세미 오토매틱 파이프라인을 통해 구축됐다. 먼저 Qwen3-VL과 같은 MLLM을 사용하여 Ego4D 데이터셋의 비디오 클립에서 타임스탬프별 상세 캡션을 추출한다. 이후 GPT-5가 이 캡션과 특정 웹사이트 목록을 입력으로 받아 비디오 내용과 밀접하게 연관된 웹 작업 지시문을 생성한다. 마지막으로 인간 검수자가 시각적 근거의 명확성, 웹 실행 가능성, 지시문 품질을 검증하여 최종 500개의 데이터셋을 선별했다.

평가를 위한 Ego2WebJudge는 세 단계로 작동한다. [에이전트의 지시문을 입력으로] -> [LLM이 성공을 위해 달성해야 할 핵심 지점(Key-points)을 추출하는 연산을 수행해] -> [평가 기준 리스트를 생성한다]. 이어 [에이전트의 행동 이력과 스크린샷을 입력으로] -> [MLLM이 각 장면의 관련성을 1-5점으로 점수화하여 핵심 스크린샷을 선별하는 연산을 수행해] -> [평가에 필요한 최적의 시각 정보를 확보한다]. 마지막으로 [선별된 스크린샷과 비디오 증거를 입력으로] -> [최종 판단 모델이 시각적 일치 여부를 대조하는 연산을 수행해] -> [성공 또는 실패라는 이진 값을 출력하며], 이는 에이전트가 현실 맥락을 웹 작업에 정확히 반영했는지를 의미한다.

실험 결과 BU-Gemini-3-Flash가 인간 평가 기준 58.6%의 성공률(SR)을 기록하며 가장 우수한 성능을 보였다. 이는 비디오 데이터를 직접 처리하는 능력이 웹 에이전트의 성능에 결정적인 영향을 미침을 시사한다. 반면 GPT-4o 기반 에이전트는 44.4%의 성공률을 기록하여 Gemini 모델 대비 낮은 성능을 보였다.

도메인별 분석에서는 지식 검색(Knowledge Lookup) 작업이 평균 50%의 성공률로 가장 쉬운 것으로 나타났다. 이는 해당 작업이 구조화된 콘텐츠와 명확한 목표를 가지기 때문이다. 반면 이커머스나 지도 서비스는 동적인 인터페이스와 복잡한 다단계 상호작용으로 인해 에이전트들이 더 큰 어려움을 겪는 것으로 확인됐다.

비디오 입력 방식에 따른 성능 차이도 뚜렷했다. 텍스트 캡션만 제공했을 때는 성공률이 23.6%에 불과했으나, 원본 비디오를 직접 입력했을 때는 48.2%로 두 배 이상 향상됐다. 이는 텍스트 요약 과정에서 발생하는 시각적 정보의 손실이 에이전트의 정확한 의사결정을 방해하는 주요 요인임을 입증한다.

Ego2Web은 Ego4D 데이터셋에서 추출된 3분 길이의 1인칭 비디오 클립을 기반으로 한다. 각 비디오는 5초 간격으로 캡션화되어 시공간적 정보를 보존한다. 에이전트는 최대 40단계의 웹 액션을 수행할 수 있도록 설정되었으며, 이는 복잡한 실제 웹 환경을 반영하기 위함이다.

Ego2WebJudge는 기존의 WebJudge를 확장하여 시각적 접지 규칙을 강화했다. 특히 'Apparent success is not sufficient' 원칙을 적용하여, 웹페이지 결과가 겉보기에 정답 같더라도 비디오 속 시각적 증거(브랜드, 색상, 수량 등)와 일치하지 않으면 실패로 처리한다. 이는 에이전트의 환각(Hallucination) 현상을 엄격히 필터링하기 위한 설계이다.

오류 분석 결과, 실패의 36%는 객체 오인식(Object Misidentification)에서 발생했으며, 18%는 시공간적 순서나 행동에 대한 오해(Temporal and Action Misunderstanding)로 인해 발생했다. 이는 멀티모달 에이전트가 긴 비디오 내에서 핵심 정보를 정확히 포착하고 유지하는 능력이 여전히 부족함을 보여준다.

현재 에이전트들은 비디오 내의 미세한 시공간적 단서를 놓치는 경우가 많으며, 특히 여러 물체가 등장하거나 복잡한 상호작용이 일어나는 상황에서 객체 식별 오류가 빈번하게 발생한다.