Ko-WideSearch: 웹 에이전트를 위한 한국어 폭넓은 집합 열거 벤치마크

Ko-WideSearch는 웹 에이전트의 '집합 전체를 찾아 속성별로 완전하게 채우는' 능력을 정량적으로 측정하는 최초급의 한국어 벤치마크이다. 이 과제는 단일 정답을 찾는 기존 depth 벤치마크와 다른 차원에서 에이전트의 장기적 증거관리와 교차-출처 검증 능력을 평가한다. 국지적 페이지 구조와 용어가 다른 한국어 웹 환경에서의 실전 성능 차이를 드러내는 점에서 평가 인프라와 모델 개발에 직접적 영향을 미친다.

대형 언어 모델 기반의 웹 에이전트는 검색과 생성의 반복 루프를 통해 정보를 수집하고 구조화된 출력을 만든다. 기존의 depth 중심 벤치마크는 한 정답을 찾는 과정에서의 다중 홉 추론 능력을 평가했으나, breadth 문제는 우선적으로 '완전한 멤버십 집합'을 얻고 각 멤버에 대해 여러 속성을 개별적으로 조회해 표를 완성해야 한다. 이 과정은 검색 상태를 장기적으로 유지하고 항목별 증거를 일대일로 연결하는 능력을 요구한다.

전체 접근 방식은 합성-빌드 에이전트가 후보 골드 표를 생성하고, 독립 검증 에이전트들이 세 가지 수용 기준을 통과해야 최종 골드로 승인되는 파이프라인으로 구성된다. 빌드 단계에서 각 set-parent 엔티티에 대해 완전 열거 질문을 설계하고, exhaustive 검색을 통해 잠재적 멤버와 속성 값을 모은 뒤 'as-of' 표기로 시간 변수를 고정한다. 검증 단계에서는 비기억성 테스트로 모델 메모리 의존성을 걸러내고, 독립 재열거로 완전성을 확인하며, 별도 속성 재조회로 교차-출처 검증을 수행해 출처-취약 컬럼을 제거한다.

주요 실험은 20개 시스템을 동일한 에이전트 하니스와 최대 30회 에이전트 반복(각 반복은 다수의 툴 호출 허용) 하에서 단일 시도(pass@1)로 평가한 것이다. 모든 시스템이 대체로 멤버십(Item-F1)은 높게 회수했으나 행 단위 완전성(Row-F1)과 테이블 성공률은 현저히 낮았다. 예컨대 GPT-5.5는 Item-F1 92.8을 기록했으나 Row-F1은 53.7에 그쳤고, 전체 테이블을 정확히 맞춘 비율은 19.3%에 불과했다.

평가 지표는 WideSearch의 체계를 계승해 Item-F1(키 단위 멤버십), Column-F1(매칭된 행에서 속성 셀의 정밀·재현), Row-F1(키와 모든 속성 셀이 모두 정확해야 하는 엄격한 지표), Table Success(완전 일치 테이블 비율)을 사용한다. 채점 엔진은 타입 인식 정규화 비교기를 공유해 날짜 그레인 비교, 숫자 전처리(천 구분자 제거, 단위 제거)와 상대 허용오차 적용, 그리고 텍스트 정규화 기반의 부분 문자열/토큰 오버랩 매칭을 순차적으로 수행한다. 파이프라인의 난이도 제어는 두 개의 구조적 노브로 이루어지며, 하나는 열 수(table width)이고 다른 하나는 2-D 복합 키의 교차제품 비중으로, 이 두 축을 독립적으로 조절해 Easy·Medium·Hard 세 티어를 생산한다.

논문에서 명시한 한계로는 Hard 티어의 2-D 구성표가 스포츠 시즌 데이터에 치우친 경향이 존재한다는 점이다. 각 테이블의 출처는 기본 멤버십 페이지로 고정되어 있어 속성별로 출처 URL이 분리된 사례가 아닌 점에서 범용적 적용 시 차이가 있을 수 있다. 또한 웹의 동적 변화 때문에 시점 고정(as-of) 표기가 필요하며 정기적 재검증과 재성장이 요구된다.