Ko-WideSearch: 웹 에이전트를 위한 한국어 폭넓은 집합 열거 벤치마크

왜 중요한가

Ko-WideSearch는 웹 에이전트의 '집합 전체를 찾아 속성별로 완전하게 채우는' 능력을 정량적으로 측정하는 최초급의 한국어 벤치마크이다. 이 과제는 단일 정답을 찾는 기존 depth 벤치마크와 다른 차원에서 에이전트의 장기적 증거관리와 교차-출처 검증 능력을 평가한다. 국지적 페이지 구조와 용어가 다른 한국어 웹 환경에서의 실전 성능 차이를 드러내는 점에서 평가 인프라와 모델 개발에 직접적 영향을 미친다.

핵심 기여

대규모 한국어 breadth-search 데이터셋 구축

Ko-WideSearch는 228개 테이블, 4,262개의 골드 행, 14,560개의 속성 셀을 포함해 190개의 set-parent 엔티티와 16개 카테고리를 포괄한다. 각 테이블은 'as-of' 날짜 표기와 교차-출처 검증을 통해 시점 의존성을 고정했고, 대량의 중복과 오염을 자동 필터링해 새로운 평가 질문을 유지한다. 데이터셋은 난이도 축(열 수)과 2-D 복합 키 축(교차 제품 비중)을 독립적으로 조정해 Easy→Medium→Hard의 삼단계로 구성되었다.

합성-검증 자동화 파이프라인과 세 겹의 수용 게이트

골드 테이블은 빌드 에이전트의 광범위한 웹 탐색으로 합성되며 비기억성, 완전성, 교차-출처 속성 재검증의 세 독립 게이트를 통과할 때만 수용된다. 비기억성 게이트는 닫힌 책 모델이 셀을 외부에서 재생산하지 못하는지를 판별하고 완전성 게이트는 독립 에이전트의 재열거로 set-F1 임계치를 확인한다. 이 구조는 모델 생성 골드의 신뢰성을 확보하면서 대규모 자동화 구축을 가능하게 했다.

정규화 민감 비교기(normalization-aware comparator)의 설계

단순 문자열 비교는 날짜 그레인, 천 단위 구분자, 단위 표기 차이로 안정적 컬럼을 오탐으로 처리한다는 문제가 발견되었다. 논문은 동일한 타입별 비교기를 골드 구성과 채점에 공유하도록 설계해 날짜의 공통 그레인 일치, 숫자 전처리와 상대 허용오차 적용, 텍스트의 정규화 및 토큰 오버랩 기반 매칭을 순차적으로 수행한다. 이 비교기는 형식 차이로 인한 과도한 컬럼 삭제와 모델의 오점수를 동시에 줄였다.

유효성 검증에 기반한 공개 정책과 배포 방침

검색 결과로 골드가 노출되는 것을 막기 위해 파이프라인과 채점기를 MIT 라이선스로 공개하고 실제 평가 데이터는 요청 기반으로 배포한다. 이 방식은 에이전트 자체의 검색으로 골드가 유출되어 성능이 부풀려지는 위험을 낮춘다. 또한 재검증과 재생성 자동화를 통해 웹의 변화에 맞춘 주기적 갱신이 가능하도록 설계되었다.

핵심 아이디어 이해하기

대형 언어 모델 기반의 웹 에이전트는 검색과 생성의 반복 루프를 통해 정보를 수집하고 구조화된 출력을 만든다. 기존의 depth 중심 벤치마크는 한 정답을 찾는 과정에서의 다중 홉 추론 능력을 평가했으나, breadth 문제는 우선적으로 '완전한 멤버십 집합'을 얻고 각 멤버에 대해 여러 속성을 개별적으로 조회해 표를 완성해야 한다. 이 과정은 검색 상태를 장기적으로 유지하고 항목별 증거를 일대일로 연결하는 능력을 요구한다.

방법론

전체 접근 방식은 합성-빌드 에이전트가 후보 골드 표를 생성하고, 독립 검증 에이전트들이 세 가지 수용 기준을 통과해야 최종 골드로 승인되는 파이프라인으로 구성된다. 빌드 단계에서 각 set-parent 엔티티에 대해 완전 열거 질문을 설계하고, exhaustive 검색을 통해 잠재적 멤버와 속성 값을 모은 뒤 'as-of' 표기로 시간 변수를 고정한다. 검증 단계에서는 비기억성 테스트로 모델 메모리 의존성을 걸러내고, 독립 재열거로 완전성을 확인하며, 별도 속성 재조회로 교차-출처 검증을 수행해 출처-취약 컬럼을 제거한다.

주요 결과

주요 실험은 20개 시스템을 동일한 에이전트 하니스와 최대 30회 에이전트 반복(각 반복은 다수의 툴 호출 허용) 하에서 단일 시도(pass@1)로 평가한 것이다. 모든 시스템이 대체로 멤버십(Item-F1)은 높게 회수했으나 행 단위 완전성(Row-F1)과 테이블 성공률은 현저히 낮았다. 예컨대 GPT-5.5는 Item-F1 92.8을 기록했으나 Row-F1은 53.7에 그쳤고, 전체 테이블을 정확히 맞춘 비율은 19.3%에 불과했다.

기술 상세

평가 지표는 WideSearch의 체계를 계승해 Item-F1(키 단위 멤버십), Column-F1(매칭된 행에서 속성 셀의 정밀·재현), Row-F1(키와 모든 속성 셀이 모두 정확해야 하는 엄격한 지표), Table Success(완전 일치 테이블 비율)을 사용한다. 채점 엔진은 타입 인식 정규화 비교기를 공유해 날짜 그레인 비교, 숫자 전처리(천 구분자 제거, 단위 제거)와 상대 허용오차 적용, 그리고 텍스트 정규화 기반의 부분 문자열/토큰 오버랩 매칭을 순차적으로 수행한다. 파이프라인의 난이도 제어는 두 개의 구조적 노브로 이루어지며, 하나는 열 수(table width)이고 다른 하나는 2-D 복합 키의 교차제품 비중으로, 이 두 축을 독립적으로 조절해 Easy·Medium·Hard 세 티어를 생산한다.

한계점

논문에서 명시한 한계로는 Hard 티어의 2-D 구성표가 스포츠 시즌 데이터에 치우친 경향이 존재한다는 점이다. 각 테이블의 출처는 기본 멤버십 페이지로 고정되어 있어 속성별로 출처 URL이 분리된 사례가 아닌 점에서 범용적 적용 시 차이가 있을 수 있다. 또한 웹의 동적 변화 때문에 시점 고정(as-of) 표기가 필요하며 정기적 재검증과 재성장이 요구된다.

키워드

breadth-search(폭넓은 집합 열거)Row-F1(행 F1)Item-F1(항목 F1)normalization-aware comparator(정규화 민감 비교기)cross-source(교차 출처)

추가 이미지 분석

Chart
첫 패널은 날짜·이름처럼 형식 제약이 있는 셀은 비교적 높은 정확도를 보인 반면 자유 서술형 셀에서 성능이 떨어진다는 점을 수치로 드러낸다. 두 번째 패널은 골드 집합 크기 자체는 Row-F1에 큰 영향을 주지 않았다는 사실을 제시해 난이도의 핵심이 '폭'과 '구조'임을 뒷받침한다. 세 번째 패널은 더 많은 검색 호출이 반드시 완전성 향상으로 이어지지 않음을 보여주어 과도한 탐색이 수렴을 보장하지 않음을 시사한다.
셀 타입별 Column-F1, 세트 크기 대비 Row-F1, 평균 툴 호출 수와 Row-F1의 관계를 세 패널로 보여주는 분석 도표이다.

Chart
이 그림은 유능한 시스템일수록 실패의 주된 원인이 'Cells wrong'이라는 것을 정량적으로 보여준다. 소형 모델은 그 이전 단계인 멤버십 오류나 파싱 실패에서 멈추는 반면, 상위 모델은 멤버십을 확보한 뒤에도 셀 단위 완성에서 병목이 발생한다는 점이 명확하다. 따라서 연구 초점은 검색 능력의 향상보다 셀 검증과 교차-출처 증거 연결에 두어야 한다는 근거가 된다.
모델별 실패 유형을 누적 막대 형태로 분해한 그래프로서 'No table', 'Membership error', 'Cells wrong', 'Solved'의 비중을 보여준다.

용어 해설

폭넓은 집합 열거(Breadth-Search): — 특정 조건으로 정의된 닫힌 집합의 모든 원소를 웹에서 완전하게 나열하고 각 원소마다 여러 속성 값을 수집하는 작업이다. 이 작업은 단일 정답을 찾는 'depth' 과제와 달리 멤버십 경계 확인과 항목별 속성 검증을 동시에 요구한다. 벤치마크 설계에서 완전성 검증과 교차-출처 확인이 핵심이다.
이차원 복합 키(2-D Composite Key): — 행의 멤버십이 두 개의 키 열의 데카르트 곱으로 결정되는 구조적 제약이다. 예컨대 (팀, 시즌)이나 (지역, 선거회차)처럼 조합으로 모든 행이 생성되므로 누락 하나가 연속된 밴드를 무효화시킨다. 벤치마크에서는 이 구조가 난이도를 크게 올리는 요인으로 작동한다.
정규화 민감 비교기(Normalization-Aware Comparator): — 골드와 모델 출력의 셀 값을 비교할 때 단순 문자열 일치가 아니라 날짜 단위 일치, 천단위 구분자 제거, 단위 무시 및 상대 허용오차 적용 등을 차례로 수행하는 타입별 비교기이다. 이 비교기는 포맷 차이로 인한 오탐을 줄여 안정적인 골드 구성과 공정한 채점을 보장한다. 골드 구축과 채점에 동일 로직을 공유한다는 점이 핵심이다.
행 F1(Row-F1): — 한 행의 키와 모든 속성 셀이 정확히 일치할 때만 양성으로 취급하는 엄격한 지표로서, 집합 단위의 완전한 행 복원이 이루어졌는지를 측정한다. Item-F1과 Column-F1보다 더 엄격하며 전체 테이블 정확도를 가늠하는 핵심 메트릭이다. 벤치마크의 난이도 상승에 가장 민감하게 반응한다.
교차 출처 소싱(Cross-Source Sourcing): — 멤버십을 제공하는 주 목록 페이지와 각 항목의 속성값이 위치한 세부 페이지가 서로 다른 경우를 지칭한다. 이 속성은 단일 페이지에 모든 정보가 모여 있는 exhaustive-only와 구별되며, 교차-출처 테이블은 항목별 추가 조회가 필요해 난이도를 올린다. Ko-WideSearch에서는 Medium·Hard에서 대부분 교차-출처가 차지한다.

Ko-WideSearch: 웹 에이전트를 위한 한국어 폭넓은 집합 열거 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 피드