MuseBench: MLLM의 의도 수준 시청각 예술 이해를 평가하는 벤치마크

왜 중요한가

시청각 예술의 이해는 단순 객체 인식을 넘어 창작자가 왜 특정 기법을 선택했는지 추론하는 능력을 요구한다. 기존 벤치마크는 주로 표층 인식 능력을 측정해 의도 수준의 창작 해석 능력을 포착하지 못했다. MuseBench는 전문가 내레이션과 정렬된 증거를 이용해 대규모 의도 수준 문제를 제공함으로써 MLLM이 스타일적 어휘와 문화적 배경을 학습했는지를 계량적으로 드러낸다.

핵심 기여

의도 수준 시청각 예술 벤치마크 구축

MuseBench는 영화, 정적 시각 예술, 무대 공연, 게임 아트 등 네 개의 상위 범주와 11개 하위 분야를 포함한 총 4,016개의 전문가 검증 문항으로 구성되었다. 각 문항은 4~8개의 선택지를 가진 단일-선택 또는 2~4개의 정답을 포함하는 다중선택 형식을 섞어 해석의 다원성을 반영했다. 문항 생성은 10초 세그먼트 기반으로 내레이션이 제거된 증거 클립에 대해 수집·검증되어 시각 증거에만 의존하는 평가가 가능하다.

비디오 에세이와 반복적 인간-검토 파이프라인

원천 자료로서 YouTube, Bilibili, TikTok의 비디오 에세이를 수집하고 Whisper-Large-v3로 시간 정렬 전사를 생성해 질문 후보를 만들었다. 자동 생성 단계는 캡셔닝, 질의 생성, 적대적 문항 생성(기술적 오독, 과도한 단순화, 사실 오류, 개념 혼동)을 포함하며, 각 카테고리별로 전문가 리뷰와 프롬프트 재작성 반복을 통해 오류율을 약 9% 수준으로 관리했다. 최종적으로 각 항목은 수동 검증을 거쳐 도메인별 품질 지수가 4.0 이상으로 유지되었다.

이종 형식 및 기대치 보정 평가 프로토콜

단일-선택 문항에 대해 선택지 수에 따른 무작위 추측 편향을 제거하는 Chance-Adjusted Accuracy(CAA)를 도입했고, 다중선택 문항에 대해서는 집합 기반 정밀도/재현율 및 F1과 정확한 일치(EM)를 병행해 부분적 일치를 평가했다. CAA는 각 문항의 정답 지표 a_i와 선택지 수 K_i로 CAA_i = (a_i - 1/K_i) / (1 - 1/K_i)로 계산되어 서로 다른 선택지 분포의 문항을 비교 가능하게 만들었다. 이 프로토콜은 과소 또는 과다 예측 경향을 분리하고 다면적 해석 역량을 더 세밀하게 드러냈다.

28개 MLLM의 제로샷 대규모 평가와 행동 분석

프로프라이어터리·오픈소스·비디오 특화 모델을 포함한 28개 MLLM을 제로샷 환경에서 평가한 결과 최고 모델의 정확도는 48.29%에 그쳤고 인간 전문가 정확도는 87.18%로 큰 격차가 존재했다. 카테고리별로는 게임 아트에서 전체적으로 성능 저하가 관찰되었으며, 다중선택 문항에서 정밀도가 재현율보다 높아 가장 두드러진 해석 차이를 모델이 하나의 대표적 해석만 복구하는 경향이 확인되었다. 적응형 키 프레임 선택은 추가 향상을 거의 제공하지 못해 병목이 시간적 지역화가 아니라 스타일적 어휘와 문화적 사전 지식에 있음을 시사했다.

핵심 아이디어 이해하기

예술적 의도를 판별하려면 단순한 객체 인식이 아니라 시각적 배열과 편집·조명·연출 요소가 관객에게 주는 정서적·주제적 효과를 연역적으로 연결해야 한다. 기존 MLLM 평가셋은 주로 '무엇이 보이는가'를 측정해 이러한 연결 고리를 평가하지 못하므로 모델이 표층 단서에 의존하는 한 진정한 의도 추론 능력을 갖췄는지 확인할 수 없다. MuseBench의 출발점은 전문 해설(비디오 에세이)에서 발췌한 근거 기반 증거를 사용해 '왜'라는 질문을 하도록 설계된 문항을 제공하는 것이다.

방법론

전체 접근은 비디오 에세이를 원천 데이터로 삼아 자동 생성과 인간 검토를 반복하는 네 단계 파이프라인으로 구성되었다. 첫 단계에서는 비디오를 10초 세그먼트로 분할하고 Keye-VL-1.5로 캡션을 추출해 시각 속성(색채, 구성, 동작 등)을 기술했으며 이 캡션은 생성 자원으로만 사용되어 평가 시 모델에 노출되지 않았다. 두 번째 단계에서는 캡션과 내레이션 전사를 입력으로 3~5개의 질문 후보를 생성하고 각 후보에 대해 관련 증거 클립을 식별한 뒤 정답을 먼저 확정하고 그에 대응하는 교란 옵션을 적대적 전략으로 설계해 우발적 정답 노출을 최소화했다.

주요 결과

MuseBench 전체 4,016문항에 대한 제로샷 평가에서 최고 모델의 정확도는 48.29%였고 인간 전문가 정확도는 87.18%로 큰 간극이 관찰되었다. 카테고리별로는 게임 아트에서 모델 성능이 전반적으로 현저히 낮았고 영화·정적 시각·무대 공연 분야에서는 모델별로 편차가 크면서 특정 모델이 일부 영역에서 강점을 보였다. 다중선택 항목 분석에서는 정밀도가 재현율보다 높아 모델이 가장 두드러진 정답 하나를 자주 포착하지만 다른 정답들을 충분히 열거하지 못하는 경향이 반복적으로 확인되었다.

기술 상세

전체 아키텍처는 모델-불가지론적 평가 파이프라인으로 설계되어 각 MLLM은 동일한 형태의 입력(내레이션 제거된 10초 클립의 1 fps 프레임 또는 모델 최대 지원 프레임 수, 오디오 입력 가능 모델에는 오디오 포함)을 받았다. 단일-선택 문항의 평가에는 문항별 선택지 수 K_i를 고려한 Chance-Adjusted Accuracy(CAA)를 사용했고, 수식은 CAA_i = (a_i - 1/K_i) / (1 - 1/K_i)로 정의되어 랜덤추측이 0, 완전정답이 1이 된다. 다중선택 문항 평가는 집합 기반 정밀도와 재현율을 TP, FP, FN으로 집계한 후 F1으로 통합하고 정확한 일치(EM)를 보조 지표로 사용하였다.

한계점

논문 자체가 지적한 주요 한계는 데이터 원천과 해석의 문화적 편향성이다. 비디오 에세이는 전문가의 관점을 반영하므로 특정 미학이나 문화권에 편중된 표현이 포함될 수 있고 이는 모델 평가지표에 반영될 수 있다. 또한 다중 해석이 가능한 문항 설계 특성상 절대적 정답이 존재하지 않는 사례가 본질적으로 있으며, 평가는 부분 일치를 허용하더라도 완전한 주관성 제거가 불가능하다고 논문에서 명시되었다.

실무 활용

MuseBench는 MLLM의 스타일적 어휘 및 문화적 사전 지식 부족을 계량적으로 노출하므로 모델 개발자가 훈련 데이터와 튜닝 전략을 조정하는 데 실무적으로 활용 가능하다. 벤치 사용자는 카테고리별 성능을 근거로 특정 도메인(예: 게임 아트)에 대해 추가적인 데이터 수집이나 도메인특화 튜닝을 결정할 수 있다. 벤치와 함께 공개된 코드 저장소를 통해 평가 파이프라인을 재현하고 자체 모델을 제로샷으로 검증할 수 있다.

모델 로드맵에서 예술적 해석 능력의 약점을 정량적으로 파악하는 내부 평가용으로 사용 가능하다.
도메인 증강 데이터(예: 게임 아트 전용 비디오 에세이)를 수집해 파인튜닝 전후 성능을 검증하는 실험 플랫폼으로 활용 가능하다.
모델 입력 형식별(V, A, T) 성능 기여도를 측정해 멀티모달 입력 파이프라인 설계 결정을 지원하는 데 사용 가능하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

MuseBench(뮤즈벤치)MLLM(multimodal large language model)CAA(Chance-Adjusted Accuracy, 기대치 보정 정확도)video essay(비디오 에세이)multi-select evaluation(다중선택 평가)

용어 해설

기대치 보정 정확도(Chance-Adjusted Accuracy (CAA)): — 단일 선택 항목에서 선택지 수에 따른 무작위 추측 확률을 제거하고 0~1로 재정규화한 지표이다. 원문에서는 각 문항의 정오 표시 a_i와 선택지 수 K_i를 사용해 CAA_i = (a_i - 1/K_i) / (1 - 1/K_i)로 계산하며, 선택지 수가 다른 문항 간 비교를 가능하게 한다. 이 지표는 선택지 개수 편향을 제거하여 서브도메인별 점수를 직접 비교할 때 중요하다.
집합 기반 F1(Set-based F1): — 다중 선택 항목에서 모델의 예측 집합과 정답 집합 간의 정밀도와 재현율의 조화평균으로 계산되는 지표이다. 각 문항에 대해 TP, FP, FN을 집합 연산으로 구하고 P=TP/(TP+FP), R=TP/(TP+FN)으로 정의한 뒤 F1을 계산하여 부분 일치를 보정한다. 정확한 일치(EM)와 병행해 사용하면 과잉 예측과 과소 예측의 균형을 진단할 수 있다.
비디오 에세이(Video Essay): — 전문가 해설과 시각적 증거를 시간적으로 정렬한 해설형 영상으로, 내레이션이 화면의 특정 장면을 지시하면서 의도 수준의 해석 근거를 제공한다. 본 논문은 YouTube, Bilibili, TikTok에서 수집한 비디오 에세이를 기반으로 시청각 예술의 의도 추론 문항을 생성했고, 내레이션-증거 정렬성이 질문 생성과 검증의 핵심 자원이 되었다. 비디오 에세이는 전문 지식 밀도가 높아 대규모 의도 수준 데이터 수집에 적합하다.
핵심 프레임 선택(Key Frame Selection): — 동영상 입력에서 정보가 압축된 소수의 프레임을 선택해 모델에 제공하는 절차로, 연산 비용을 줄이면서 중요한 시각 단서를 포착하는 것을 목표로 한다. 논문에서는 다섯 가지 적응형 키프레임 선택 기법을 실험해 프레임 선택만으로는 MuseBench의 병목을 해소하지 못함을 확인했다. 이는 시청각 예술 이해에서 프레임 위치보다 스타일어휘와 문화적 사전 지식이 더 결정적임을 시사한다.

MuseBench: MLLM의 의도 수준 시청각 예술 이해를 평가하는 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드