MuseBench: MLLM의 의도 수준 시청각 예술 이해를 평가하는 벤치마크

시청각 예술의 이해는 단순 객체 인식을 넘어 창작자가 왜 특정 기법을 선택했는지 추론하는 능력을 요구한다. 기존 벤치마크는 주로 표층 인식 능력을 측정해 의도 수준의 창작 해석 능력을 포착하지 못했다. MuseBench는 전문가 내레이션과 정렬된 증거를 이용해 대규모 의도 수준 문제를 제공함으로써 MLLM이 스타일적 어휘와 문화적 배경을 학습했는지를 계량적으로 드러낸다.

예술적 의도를 판별하려면 단순한 객체 인식이 아니라 시각적 배열과 편집·조명·연출 요소가 관객에게 주는 정서적·주제적 효과를 연역적으로 연결해야 한다. 기존 MLLM 평가셋은 주로 '무엇이 보이는가'를 측정해 이러한 연결 고리를 평가하지 못하므로 모델이 표층 단서에 의존하는 한 진정한 의도 추론 능력을 갖췄는지 확인할 수 없다. MuseBench의 출발점은 전문 해설(비디오 에세이)에서 발췌한 근거 기반 증거를 사용해 '왜'라는 질문을 하도록 설계된 문항을 제공하는 것이다.

전체 접근은 비디오 에세이를 원천 데이터로 삼아 자동 생성과 인간 검토를 반복하는 네 단계 파이프라인으로 구성되었다. 첫 단계에서는 비디오를 10초 세그먼트로 분할하고 Keye-VL-1.5로 캡션을 추출해 시각 속성(색채, 구성, 동작 등)을 기술했으며 이 캡션은 생성 자원으로만 사용되어 평가 시 모델에 노출되지 않았다. 두 번째 단계에서는 캡션과 내레이션 전사를 입력으로 3~5개의 질문 후보를 생성하고 각 후보에 대해 관련 증거 클립을 식별한 뒤 정답을 먼저 확정하고 그에 대응하는 교란 옵션을 적대적 전략으로 설계해 우발적 정답 노출을 최소화했다.

MuseBench 전체 4,016문항에 대한 제로샷 평가에서 최고 모델의 정확도는 48.29%였고 인간 전문가 정확도는 87.18%로 큰 간극이 관찰되었다. 카테고리별로는 게임 아트에서 모델 성능이 전반적으로 현저히 낮았고 영화·정적 시각·무대 공연 분야에서는 모델별로 편차가 크면서 특정 모델이 일부 영역에서 강점을 보였다. 다중선택 항목 분석에서는 정밀도가 재현율보다 높아 모델이 가장 두드러진 정답 하나를 자주 포착하지만 다른 정답들을 충분히 열거하지 못하는 경향이 반복적으로 확인되었다.

전체 아키텍처는 모델-불가지론적 평가 파이프라인으로 설계되어 각 MLLM은 동일한 형태의 입력(내레이션 제거된 10초 클립의 1 fps 프레임 또는 모델 최대 지원 프레임 수, 오디오 입력 가능 모델에는 오디오 포함)을 받았다. 단일-선택 문항의 평가에는 문항별 선택지 수 K_i를 고려한 Chance-Adjusted Accuracy(CAA)를 사용했고, 수식은 CAA_i = (a_i - 1/K_i) / (1 - 1/K_i)로 정의되어 랜덤추측이 0, 완전정답이 1이 된다. 다중선택 문항 평가는 집합 기반 정밀도와 재현율을 TP, FP, FN으로 집계한 후 F1으로 통합하고 정확한 일치(EM)를 보조 지표로 사용하였다.

논문 자체가 지적한 주요 한계는 데이터 원천과 해석의 문화적 편향성이다. 비디오 에세이는 전문가의 관점을 반영하므로 특정 미학이나 문화권에 편중된 표현이 포함될 수 있고 이는 모델 평가지표에 반영될 수 있다. 또한 다중 해석이 가능한 문항 설계 특성상 절대적 정답이 존재하지 않는 사례가 본질적으로 있으며, 평가는 부분 일치를 허용하더라도 완전한 주관성 제거가 불가능하다고 논문에서 명시되었다.