WildTableBench: Benchmarking Multimodal Foundation Models on Table Understanding In the Wild

표 이미지는 밀집된 시각 정보와 비정형 레이아웃으로 구성되어 있어 구조 인식과 수치 추론이 도전적이다. 기존 벤치마크는 주로 구조화된 텍스트 표나 렌더링된 이미지에 의존해 실제 응용에서의 한계를 드러내지 못한다. WildTableBench는 402장의 표 이미지와 928개의 질문으로 현실 세계의 다양성과 노이즈를 반영하고, 21개 프런티어 모델의 성능을 종합적으로 비교한다.

단락1. 문제 정의: 실제 표 이미지는 Dense한 콘텐츠와 비정형 레이아웃으로 구성되어 표 구조의 시각적 인식과 셀 값 추출이 어려워진다. 기존 연구는 주로 구조화된 텍스트 표나 렌더링된 표에 의존해 시각적 인식의 한계를 간과한다. 단락2. 해결 원리: WildTableBench는 402장의 표 이미지를 수집하고 928개의 Q&A를 인간 검수로 확정하며, 17개의 서브타입과 5개의 카테고리로 질문 taxonomy를 구성한다. Seed 질문은 GPT-5.2로 생성하고 전문가가 교정해 이미지 기반의 근거를 요구하는 문제를 확보한다. 단계적 평가 파이프라인은 모델의 답변 생성과 LLM judge의 검증으로 구성된다. 단락3. 달라지는 점: 21개 모델 중 단 한 모델만 50%를 넘고, 색상 기반 추론(C5)이나 고다단계 추론(C4-C5)에서 성능 차이가 큰 편이다. 추론 예산을 늘리면 일부 모델에서 성능이 향상되지만, 수익은 모델 간 차이가 크며, 시각적 그라운딩의 한계가 전체 성능의 큰 요인으로 작용한다.

단락1. 접근 방식: 공개 웹에서 실제 표 이미지를 수집하고 7개 도메인으로 분류한 후, 5개의 카테고리, 17개의 서브타입의 질문으로 구성한다. 단락2. 데이터 품질 관리: 후보 이미지에 대해 GPT-4o 기반 VLM으로 자동 필터링 후 수작업으로 품질과 개인정보 마스킹을 수행한다. 후보 확장 단계에서 Bing/Yandex로 추가 이미지를 수집한다. 단락3. 라벨링 프로세스: LLM(GPT-5.2)으로 8개 초안 질문을 생성하고, 사람 검토를 통해 928 QA를 확정한다. 단락4. 평가 프로토콜: 프런티어 모델 21종에 대해 자유 형식 답변을 요청하고, GPT-5.2를 LLM judge로 두어 형식 무시 규칙에 따라 정답 여부를 판단한다.

주요 결과: 67.9%가 최상위 성능인 Gemini-3-Pro의 전체 정답률이며, 다른 모델은 50% 미만이다. 카테고리별로 C3(Verification)가 상대적으로 높은 정확도를 보이며, C5(Color) 영역은 색상 인식 자체보다 색상 기반 추론에서 더 큰 어려움을 보인다. 모델 규모가 커질수록 Thinking 버전의 성능 향상 폭이 커지며, 235B 계열에서 더욱 뚜렷하다. 셀 위치에 따른 재현성은 상단 왼쪽에 가까운 영역에서 더 높고, 하단 우측으로 갈수록 떨어지는 경향이 있다. 실험적으로 다중-hop 추론에서는 L1에서 높은 정확도에서 시작해 L5까지 하락하는 경향이 확인되었다. 이 분석은 시각적 그라운딩과 다중단계 추론의 상호작용에서 성능 저하의 주된 원인이 시각적 인식임을 시사한다.