이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 성능이 뛰어나지만, 긴 고해상도 비디오 처리 시 시공간적 중복성으로 인해 연산 효율이 낮다. AutoGaze는 강화학습을 통해 비디오 내 중복 패치를 사전에 제거하는 경량 모듈로, 토큰 수를 최대 100배 줄이고 추론 속도를 19배 가속화한다. 이를 통해 4K 해상도의 1K 프레임 비디오까지 처리가 가능하며, 신규 벤치마크 HLVid에서 기존 모델 대비 10.1% 높은 성능을 달성했다.
챕터별 상세
00:00
비디오 이해 모델의 효율성 문제
멀티모달 대규모 언어 모델(MLLM)은 일반적인 비디오 이해 능력을 갖췄지만, 긴 고해상도 비디오를 처리할 때 시공간적 중복성으로 인해 비효율적이다. 비전 트랜스포머(ViT)나 LLM은 모든 픽셀을 동일하게 처리하므로 연산 비용이 급증한다. 이를 해결하기 위해 비디오의 중복 패치를 미리 제거하는 경량 모듈인 AutoGaze를 제안한다.
비디오 데이터는 프레임 간 변화가 적은 부분이 많아 모든 픽셀을 처리하는 것은 낭비입니다.
07:20
AutoGaze의 작동 원리
AutoGaze는 강화학습과 차세대 토큰 예측을 통해 훈련되며, 비디오에서 정보량이 많은 최소한의 패치 집합만을 선택한다. 이 모듈은 오토레그레시브 방식으로 작동하여 각 프레임에서 중요한 패치 ID를 디코딩한다. 결과적으로 시공간적 중복성을 제거하여 비디오 토큰 수를 4배에서 100배까지 줄이고, 모델 추론 속도를 최대 19배 가속화한다.
오토레그레시브 디코딩은 이전 정보를 바탕으로 다음 정보를 순차적으로 결정하는 방식입니다.
10:55
성능 평가 및 벤치마크
AutoGaze를 적용한 MLLM은 1K 프레임의 4K 해상도 비디오까지 확장이 가능하며, VideoMME 벤치마크에서 67.0%의 우수한 성능을 기록했다. 또한 5분 길이의 4K 비디오 QA 벤치마크인 HLVid를 새롭게 도입하여 평가했다. 실험 결과, AutoGaze를 적용한 모델은 기존 베이스라인 대비 10.1% 성능 향상을 보였다.
HLVid는 고해상도 장편 비디오 이해를 측정하기 위한 새로운 벤치마크입니다.
27:00
질의응답 세션
질의응답에서는 AutoGaze의 재구성 손실 선택 방식, 피처 기반이 아닌 패치 기반 설계 이유, 기존 모델에 대한 추가 학습 필요성 등이 논의되었다. AutoGaze는 경량 모델로 설계되어 다양한 디바이스에 적용 가능하며, 향후 물리적 이해나 카메라 모션 처리 등에서 개선 여지가 있다.
용어 해설
- 멀티모달 대규모 언어 모델(MLLM)
- — 텍스트뿐만 아니라 이미지, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 대규모 언어 모델입니다. 시각적 정보를 텍스트와 결합하여 비디오 이해와 같은 복잡한 작업을 수행합니다.
- 시공간적 중복성(Spatiotemporal Redundancy)
- — 비디오 데이터에서 인접한 프레임 간의 유사성(시간적 중복)과 프레임 내 배경의 유사성(공간적 중복)을 의미합니다. 모든 픽셀을 동일하게 처리하는 것은 비효율적이므로, 이를 제거하여 연산량을 줄이는 것이 비디오 이해 모델의 핵심 과제입니다.
- 자기회귀 디코딩(Autoregressive Decoding)
- — 이전 단계에서 생성된 토큰을 입력으로 사용하여 다음 토큰을 순차적으로 생성하는 방식입니다. AutoGaze는 이 방식을 활용하여 비디오 패치를 순차적으로 선택합니다.
언급된 리소스
GitHubAutoGaze GitHub
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 15.수집 2026. 08. 15.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
