LVOmniBench: 옴니모달 LLM을 위한 장기 오디오-비디오 이해 평가의 개척

기존 AI 모델들은 5분 내외의 짧은 영상은 잘 이해하지만, 실제 세상의 긴 영상에서는 맥락을 놓치는 경우가 많다. 이 논문은 최대 90분에 달하는 긴 오디오-비디오 데이터를 통해 AI의 장기 기억과 복합 추론 능력을 정밀하게 측정하는 새로운 기준점을 제시하여 실무형 옴니모달 AI 발전을 가속화한다.

왜 중요한가

핵심 기여

LVOmniBench 벤치마크 구축

10분에서 90분 사이의 고품질 영상 275개와 1,014개의 수동 주석 QA 쌍을 포함하는 최초의 장기 오디오-비디오 이해 전용 데이터셋을 구축함.

계층적 평가 체계 도입

인지적 난이도(Low, Medium, High)와 9가지 세부 카테고리(지각, 이해, 추론, 논리 등)를 통해 모델의 다각적 성능을 계층적으로 측정함.

오디오-비디오 통합 추론 강제

시각이나 오디오 단독으로는 해결할 수 없고 두 정보를 반드시 결합해야만 정답을 맞힐 수 있도록 설계하여 진정한 옴니모달 능력을 평가함.

SOTA 모델의 한계 분석

Gemini 3 Pro 등 최신 모델을 평가하여 긴 문맥 처리와 비언어적 오디오 신호 정렬에서 발생하는 심각한 성능 저하를 수치로 입증함.

핵심 아이디어 이해하기

기존의 비디오 이해 모델은 주로 짧은 클립에서 특정 동작을 인식하는 데 집중했다. 이는 Transformer 아키텍처의 Self-Attention 메커니즘이 시퀀스 길이에 따라 연산량이 제곱으로 증가하기 때문에, 긴 영상을 한꺼번에 처리하기 어렵다는 기술적 한계에서 기인한다. LVOmniBench는 이러한 '짧은 시야'를 극복하기 위해 수십 분 동안 이어지는 영상 속에서 흩어져 있는 시각적 단서와 오디오 신호를 연결해야 하는 과제를 던진다.

이 과정에서 모델은 단순히 프레임을 샘플링하는 수준을 넘어, 긴 시간 축 위에서 오디오와 비디오의 의미적 정렬을 유지해야 한다. 예를 들어 영상 초반에 등장한 인물의 이름(오디오)과 중반의 특정 행동(비디오)을 결합해야만 답을 낼 수 있는 구조다. 실험 결과 현재의 모델들은 긴 문맥에서 정보 병목 현상을 겪으며 특히 음악이나 환경음 같은 비언어적 오디오 정보를 시각 정보와 결합하는 데 큰 어려움을 겪고 있음이 확인됐다.

결국 이 벤치마크는 AI가 단순히 데이터를 보는 것을 넘어, 긴 시간 동안 흐르는 복합적인 정보를 인간처럼 통합적으로 인지하고 추론할 수 있는지를 판가름하는 척도가 된다. 이는 향후 모델들이 더 긴 컨텍스트 윈도우를 효율적으로 관리하고, 다양한 감각 정보를 더 정교하게 융합해야 함을 시사한다.

방법론

데이터 수집 및 필터링 단계에서는 YouTube에서 Creative Commons 라이선스를 보유한 3,000개 이상의 원본 영상을 확보했다. 이후 10분 이상의 길이, 풍부한 오디오-비디오 상호작용, 동적인 콘텐츠 여부를 기준으로 엄격하게 필터링하여 최종 275개의 영상을 선정했다. 영상은 엔터테인먼트, 라이프스타일, 요리, 다큐멘터리 등 5개 주요 도메인과 21개 세부 카테고리로 구성됐다.

질문 생성 과정에서는 지각(Perception), 이해(Understanding), 추론(Inference), 논리(Logical)의 4대 차원과 9개 하위 카테고리를 설정했다. 각 질문은 시각 전용, 오디오 전용, 텍스트 전용 베이스라인으로 테스트하여 단일 모달리티만으로는 해결 불가능함을 검증한 뒤 최종 데이터셋에 포함했다. 질문 작성 시 타임스탬프 언급을 최소화하여 모델이 지름길을 찾지 못하도록 강제했다.

난이도 할당은 지각적 복잡성, 정보의 세밀함, 시간적 범위, 추론 단계 수를 고려하여 Low, Medium, High로 구분했다. 이를 통해 모델이 단순한 정보 추출을 넘어 복잡한 인지 과정을 수행할 수 있는지 계층적으로 평가할 수 있는 구조를 갖추었다. 최종적으로 1,014개의 4지 선다형 QA 쌍이 완성됐다.

주요 결과

상용 모델인 Gemini 3 Pro가 평균 65.8%의 정확도로 가장 높은 성능을 보였으나, 난이도가 높은 질문에서는 45%까지 하락하며 여전히 개선의 여지가 많음을 보여주었다. Gemini 3 Flash는 59.0%를 기록하며 Pro 모델과 유의미한 격차를 나타냈다. 특히 Gemini 시리즈는 긴 영상의 맥락을 유지하고 오디오 신호를 정렬하는 데 있어 타 모델 대비 압도적인 우위를 점했다.

오픈소스 모델들의 경우 Qwen3-Omni-30B가 35.8%로 가장 우수했으나, 대부분의 모델이 35% 미만의 정확도를 기록하며 무작위 선택(25%)보다 약간 높은 수준에 머물렀다. 이는 오픈소스 진영이 긴 오디오-비디오 문맥을 처리하는 데 있어 상용 모델 대비 큰 기술적 격차가 있음을 시사한다. 특히 고난도 작업에서 오픈소스 모델의 성능은 무작위 추측 수준으로 급락했다.

Ablation Study 결과, 오디오 정보를 제거하고 비디오만 제공했을 때 Gemini 3 Flash의 성능이 최대 13% 감소하여 오디오 단서의 중요성이 입증됐다. 또한 오디오를 직접 처리하는 대신 ASR 텍스트를 제공했을 때 일부 오픈소스 모델의 성능이 향상되었는데, 이는 현재 모델들이 원시 오디오 신호를 직접 이해하고 시각 정보와 정렬하는 능력이 부족함을 의미한다.

기술 상세

LVOmniBench는 옴니모달 LLM의 장기 기억과 시간적 국소화 능력을 극한으로 시험한다. 평균 34분 29초의 영상 길이는 기존 벤치마크 대비 약 6배 이상의 시간적 확장을 의미하며, 이는 모델의 컨텍스트 윈도우 관리와 토큰 압축 전략에 큰 도전을 제기한다. 실험에서는 각 모델이 허용하는 최대 프레임 수(최대 768프레임)를 입력으로 사용하여 성능을 측정했다.

아키텍처 측면에서 상용 모델은 긴 문맥 처리에 최적화된 구조를 활용하여 우위를 점했다. 반면 오픈소스 모델들은 입력 프레임 수의 제한으로 인해 긴 영상의 세부 정보를 손실하는 정보 병목 현상이 두드러졌다. 특히 비언어적 오디오 신호와 시각적 사건을 정렬하는 'Cross-modal Semantic Gap'이 주요 오류 원인(19%)으로 분석됐다.

오류 분석 결과, 지각 오류(34%)가 가장 큰 비중을 차지했으며 그중에서도 오디오 지각 실패가 60%에 달했다. 이는 모델들이 음성은 비교적 잘 처리하지만 음악이나 환경음의 세밀한 특징(음색, 피치 등)을 시각 정보와 통합하는 데 한계가 있음을 보여준다. 또한 Localization Error(19.6%)는 모델이 긴 시간 축에서 사건의 발생 시점을 정확히 특정하지 못함을 시사한다.

결론적으로 본 연구는 OmniLLM이 진정한 실무 능력을 갖추기 위해서는 텍스트/음성 중심을 넘어 원시 오디오 신호의 추상적 특징을 시각 정보와 정교하게 정렬하는 알고리즘 개선이 필수적임을 기술적으로 입증했다.

한계점

모델들이 비언어적 오디오(음악, 환경음)를 시각 정보와 결합하는 데 여전히 큰 어려움을 겪고 있으며, 특히 정밀한 숫자 세기나 복잡한 공간적 추론에서 잦은 오류를 범한다. 또한 오픈소스 모델의 경우 긴 영상 처리를 위한 연산 비용과 컨텍스트 길이 제한이 성능 향상의 주요 병목으로 작용한다.

실무 활용

긴 영상 콘텐츠의 자동 요약, 특정 사건의 정밀한 시간적 위치 탐색, 복합적인 오디오-비디오 질의응답 시스템 개발에 직접적인 평가 지표로 활용 가능하다.

강의나 회의록 영상에서 특정 발언과 관련된 시각적 자료를 자동으로 매칭하는 시스템 평가
영화나 다큐멘터리 등 장편 영상의 복합적인 맥락 이해 및 퀴즈 생성 서비스 검증
CCTV 등 장기 보안 영상에서 특정 오디오 이벤트와 관련된 시각적 증거 확보 능력 테스트
시각 장애인을 위한 장편 영상의 상세 오디오 설명 생성 모델의 정확도 측정

코드 공개 여부: 공개

코드 저장소 보기

키워드

OmniLLM(옴니모달 대형 언어 모델)Long-form Video(장편 비디오)Audio-Video Understanding(오디오-비디오 이해)Benchmark(벤치마크)Multimodal(멀티모달)

용어 해설

옴니모달 대형 언어 모델(Omnimodal LLM): — 텍스트, 이미지, 비디오뿐만 아니라 오디오 신호까지 동시에 입력받아 통합적으로 이해하고 생성할 수 있는 인공지능 모델이다. 여러 감각 정보를 하나의 신경망에서 처리하여 인간과 유사한 다중 감각 인지 능력을 구현하는 것이 핵심이다.
시간적 국소화(Temporal Localization): — 긴 영상이나 오디오 스트림 내에서 특정 사건이나 정보가 발생하는 정확한 시점을 찾아내는 기술이다. 수십 분 분량의 데이터에서 질문에 답하기 위한 핵심 구간을 식별해야 하므로 모델의 장기 기억과 정밀한 검색 능력이 요구된다.
교차 모달리티 정렬(Cross-modal Alignment): — 서로 다른 형태의 데이터(예: 비디오의 시각 정보와 오디오의 소리 정보) 사이의 상관관계를 파악하여 의미적으로 연결하는 과정이다. 예를 들어 화면 속 인물의 입모양과 들리는 목소리를 일치시키거나, 배경 음악의 분위기와 영상의 시각적 톤을 연결하는 작업이 포함된다.
자동 음성 인식(ASR): — 오디오 신호에서 사람의 말을 추출하여 텍스트로 변환하는 기술이다. 옴니모달 모델이 원시 오디오 신호를 직접 처리하지 못할 때, ASR을 통해 변환된 텍스트를 보조 정보로 활용하여 이해도를 높이기도 한다.

코드 예제

text

Question: <question>
Options: <options_str>
Select the best answer from the options above. Directly provide the letter representing your choice (A/B/C/D) and nothing else. Do not include the full text of the option; do not provide any explanation.

LVOmniBench 평가를 위해 사용된 표준 프롬프트 템플릿

LVOmniBench: 옴니모달 LLM을 위한 장기 오디오-비디오 이해 평가의 개척

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 기사

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

OmniAssistBench로 측정한 영상 보조 모델의 한계