구조화된 테이블 발견을 통한 다양성 있는 모델 탐색

모델 검색은 태스크 수준에서의 정렬과 비교를 위한 다양성 확보 간의 균형이 필요하다. 순수한 텍스트 유사도만으로는 상호 배타적이고 비차별적인 결과가 많아 다양성 확보에 한계가 있다. 본 연구는 condensed evidence인 구조화된 표를 활용해 태스크 정렬성과 차별화를 동시에 달성하는 테이블 기반 검색 프레임워크를 제시한다.

출발점: 모델 카드는 서사 텍스트와 구조적 표의 혼합으로 구성되며, 표는 핵심 증거를 밀도 있게 담고 있다. 한편 텍스트 기반 검색은 텍스트 유사도에 의존해 동형 결과를 늘릴 수 있다. 해결 원리: Structured Semantic Search는 anchor 카드의 텍스트 검색으로 Task-Alignment를 확보한 뒤, table discovery 연산자(Keyword, Joinable, Unionable)를 통해 표 차원에서 후보를 확장한다. 결과적으로 표 증거를 모델 카드와 연계하고 Top-k를 통해 비교 가능 후보를 생성한다. 달라지는 점: 동일한 질의에 대해 구조화된 증거를 제공하는 검색이 더 다양한 모델과 벤치마크를 포섭하며, 노깃 커버리지를 증가시키고 표 기반의 비교 뷰를 제공한다.

전반적 접근: NL2Card(Unstructured Semantic Search)로 앵커 카드 검색을 수행하고, Anchor 카드가 하나 이상의 표를 가진 경우에 한해 Structured Semantic Search를 적용한다. 입력: 질의 q, 모델-카드 코퍼스 C, 표 레이크 L, top-k 예산. 출력: Top-k 모델 카드 후보 R.

주요 벤치마크 결과: Six 구조적 검색 연산자 중 Unionable이 상위 반응에서 가장 강력한 구조 인식 후보를 제시하며, Top-1/Top-3/Top-5에서 Nugget 커버리지가 높다. Top-10에서는 방법 간 차이가 축소된다. Table-level 평가: Unstructured Search는 usable한 표가 없는 경우가 많아 다양성이 낮고, Structured Search는 표 기반 증거를 제공해 데이터 과학자가 모델 간 비교를 쉽게 수행하도록 한다. Dataset 및 설정: 60K 모델 카드가 포함된 ModelTables and 약 597 LitSearch 질의에서 비교 실험 수행. 통합 뷰: 상이한 표의 중복 대신 공통 증거를 묶어 통합 표를 생성하고 해마다 업데이트 가능한 증거 기반 비교를 제공한다.

아키텍처: Anchor Card → Table Discovery(Keyword/Joinable/Unionable) → MapTableToCards → FinalRerank. 알고리즘 1: NL2Card2Tab2Card Candidate Generation. 입력 q, C, L, top-k → 출력 Top-k model cards. 알고리즘 2: Orientation-aware Integration. 입력 Q, R → I를 구성하며, OverlapMatrix를 이용해 테이블의 방향성(전치 여부)을 확인하고 필요 시 Transpose를 적용한 뒤 Integrate한다. 차별화: Prior Work 대비 구조화 표를 탐색 대상으로 삼아 표 간 연계 및 통합을 통해 다양한 모델 증거를 확보한다. 구현 세부: ModelTables 코퍼스(60k 카드), 표의 크기 제한(<200행, <100열), 카드 간 표 연계 유지. 너깃 추출은 카드의 전체 내용을 프롬프트로 전달해 6-튜플 너깃으로 정규화.