Blind-Spots-Bench: 멀티모달 모델의 인간에게는 쉬운 과제에서 드러나는 맹점 평가

현대의 최전선 모델이 기존 벤치마크에서 높은 점수를 얻더라도 인간에게는 자명한 과제에서 반복적으로 실패하는 영역이 존재한다는 사실을 정량화한 점이 중요하다. 이 논문은 학생들이 실제로 관찰한 실패 사례를 모아 구조화된 정답과 자동 채점 파이프라인으로 평가함으로써 그러한 맹점들을 체계적으로 드러냈다. 결과적으로 모델 비교와 개선 방향을 실전적인 과제 단위에서 판단할 수 있는 도구를 제공한다.

현대 멀티모달 시스템은 넓은 범위의 표준 벤치마크에서 강한 성적을 보일 수 있으나, 인간이 직관적으로 해결하는 간단하고 정확한 제약을 요구하는 과제들에서는 지속적인 실패가 누적된다는 점이 출발점이다. 이러한 실패는 시각적 계수, 공간적 관계 이해, 문자 단위 조작 등 세밀한 능력에서 반복적으로 관찰되며, 기존의 집계형 벤치마크는 이러한 잔존 약점을 충분히 포착하지 못한다는 문제가 있다. 따라서 본 연구는 자연 발생적 실패 사례를 수집해 하위 과제별로 분해하고, 자동 채점 가능한 구조화된 정답을 마련하여 모델의 미세한 결함 패턴을 드러내는 진단적 벤치마크를 구성했다.

데이터 수집 단계에서 대학원 과정 수업 참여 학생들이 제출한 실패 사례를 출발점으로 삼아 약 287개의 원본 질문을 수집했고, 중복 제거와 난이도 문턱 적용을 통해 최종 235개 샘플로 정제했다. 각 문제에는 기대 정답, 정답 판정에 필요한 조건들, 그리고 수집된 실패 사례로부터 도출한 공통 오류 모드를 명시하여 자동 채점기가 정확히 동작하도록 설계했다. 평가 파이프라인은 solver와 grader의 두 단계로 구성되며, grader는 원문 질문·모델 응답·구조화된 정답을 입력으로 받아 이진 정오판정을 수행하고 필요 시 코드 실행을 통해 하드 제약을 검증한다.

텍스트 전용 문제 비중은 데이터셋의 46.2%였고 이미지 생성과 multi-to-text가 각각 35.6%와 18.2%를 차지했다. 폐쇄형 최전선 모델들이 열린 가중치 모델들보다 평균적으로 약 10%p 높은 정확도를 기록했으나, 비용 효율성 측면에서는 GLM-5.2, Qwen3.5, DeepSeek-V4 등이 경쟁력을 보였다. 작업(하위 과제)별로는 지각 기반 계수와 속성·패턴 인식이 특히 낮은 성능을 보였고 일부 모델은 특정 하위 과제에서만 강점을 보여 단일 모델이 모든 하위 과제를 우위 점유하지 못하는 것으로 나타났다.

데이터셋 구성은 문제별로 질문 텍스트, 입력 형식(text-only, image-gen, multi-to-text), 하위 과제 라벨, 구조화된 정답 및 정답 판정 조건을 포함한다. 자동 채점 파이프라인은 Inspect AI 프레임워크를 기반으로 구현되었고 grader로 gemini-3-flash를 사용하며 코드 실행을 활성화해 하드 제약을 정확히 확인하도록 구성되었다. 실험 설정에서는 텍스트 과제에 대해 k=4 반복을 수행했고 이미지 생성 과제는 비용 문제로 1회만 평가했으며, 출력 토큰 최대치는 32,768로 설정되고 대부분의 모델에서 thinking mode 및 medium effort 옵션을 활성화했다.

데이터셋 크기가 235개로 하위 과제별 표본 수가 제한되어 통계적 신뢰도가 일부 하위과제에서 낮을 수 있다. 수집원천이 특정 수업의 학생 제출물에 편중되어 있어 특정 최전선 모델의 약점에 치우친 샘플링 바이어스가 존재할 가능성이 있다. 논문에서는 인간 기준선이 포함되지 않아 모델-인간 격차를 직접적으로 수치화하지 못한 점을 명시했다.