OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

실시간 영상 보조 모델은 장면을 인식하는 데서 끝나지 않고 사용자의 목표와 과거 대화, 다음 행동까지 함께 추적해야 합니다. OmniAssistBench는 정적인 영상 질의응답으로는 측정하기 어려운 시각적 Prompt, 멀티턴 기억, 응답 시점 판단을 한 평가 체계에 넣었고, Gemini-3-Pro도 100점 만점에 66.4점에 그쳤습니다. 이는 현재 Omni-LLM이 실제 보조 역할을 안정적으로 수행하기 전에 해결해야 할 구체적인 병목을 드러냅니다.

관련 Figure

Diagram
왼쪽에서는 모델 응답이 고정된 영상에 영향을 주지 않지만, 오른쪽에서는 Espresso 준비와 우유 준비처럼 모델의 안내에 따라 다음 영상 경로가 달라집니다. 아래쪽 절차는 원본 Internet 영상에서 prior knowledge로 고정 절차를 만들고, 영상 구간을 잘라 여러 턴의 질문과 답변에 대응시키는 과정을 나타냅니다. 정적인 QA 데이터로는 모델 답변에 따른 경로 분기를 처리하기 어렵다는 논문의 핵심 문제와 해결 방식이 직접 연결됩니다.
전통적인 Video Understanding과 Assistant-style interaction의 차이, 그리고 OmniAssistBench의 경로 고정형 라벨링 방식을 한 도식에 담은 Figure입니다.

핵심 기여

고정된 상호작용 경로를 이용한 데이터 구축

모델 답변에 따라 사용자의 다음 행동이 달라지는 문제를 영상에서 추출한 prior knowledge로 제한합니다. 연구자는 표준 절차와 목표를 먼저 정한 뒤 원본 Internet 영상을 멀티턴 클립으로 나누고 질문과 답변을 삽입합니다. 그 결과 여러 경로를 모두 수집하지 않고도 하나의 정답 상호작용 경로를 평가할 수 있습니다.

기초 능력과 고급 보조 능력의 통합 평가

Basic tier에서는 Social, Temporal, Referential Perception과 비음성 Prompt 추종을 측정합니다. Advanced tier에서는 Context-aware Response, Proactive Response, Process Tracking을 통해 실제 목표 수행에 필요한 능력을 평가합니다. 여기에 Meeting Simulation, Blind Assistance, Handicraft Process Tracking이라는 세 가지 실제 사례를 추가해 여러 능력이 동시에 필요한 상황까지 포함합니다.

300개 영상과 685개 QA 쌍으로 구성된 벤치마크

전체 데이터는 300개 영상, 685개 QA 쌍으로 구성되며 평균 영상 길이는 182.25초입니다. 질문은 선택지 없이 음성이나 화면 속 시각적 Prompt로 삽입되고, 정답 문장과 1~3개의 핵심 구절을 함께 사용해 채점합니다. 구축에는 전문가 1000시간 이상이 투입되어 비현저한 장면과 사용자 목표의 논리적 일관성을 수작업으로 확인했습니다.

현재 Omni-LLM의 상호작용 병목 측정

Gemini-3-Pro는 전체 평균 66.4점으로 가장 높았고 Qwen3-Omni-Instruct는 51.2점을 기록했습니다. 모델들은 손동작 Prompt, 긴 상호작용 기록, 응답을 미뤄야 하는 순간, 여러 턴에 걸친 초기 목표 유지에서 반복적으로 어려움을 겪었습니다. 서로 다른 judge LLM의 Pearson 상관계수가 모두 0.75를 넘은 결과는 이 평가 경향이 특정 judge에만 의존하지 않음을 뒷받침합니다.

핵심 아이디어 이해하기

기존 Video Understanding 벤치마크는 영상과 질문을 고정해 두고 모델이 장면을 맞히는지 평가합니다. 따라서 모델의 답변이 뒤이어 입력될 영상이나 사용자의 행동을 바꾸지 않으며, 한 턴의 인식 능력만 확인하면 됩니다. 그러나 실제 영상 보조에서는 사용자가 모델의 안내에 따라 다음 행동을 바꾸므로, 같은 목표라도 Espresso를 먼저 만들지 우유를 먼저 만들지처럼 상호작용 경로가 갈라집니다.

OmniAssistBench는 이 경로 분기를 prior knowledge로 제한합니다. 원본 영상에서 사용자의 목표와 표준 절차를 추출하고, 예를 들어 Espresso를 우유보다 먼저 준비한다는 순서를 정한 뒤 그 순서에 맞춰 질문과 클립을 배치합니다. 입력은 영상, 음성 또는 화면 속 Prompt이고, 모델의 출력은 다음 턴의 정답 경로를 따라 사용자를 안내해야 하므로 단순한 장면 캡션보다 목표와 현재 상태의 연결이 중요합니다.

이 구조는 멀티턴 기억의 역할도 분리해 드러냅니다. 모델은 첫 턴의 TODO 목록과 이후 영상에서 관찰한 상태를 함께 유지해야 하며, 현재 질문이 없을 때는 배경 대화에 반응하지 않고 기다려야 합니다. 실제 평가에서 Qwen 계열은 1 FPS 영상 기준 유효한 기억이 약 80초에 머물렀고, 32k 컨텍스트를 쓰는 MiniCPM-o-2.6도 약 380초 이후 문제가 나타나 장시간 보조의 한계가 확인됐습니다.

따라서 이 벤치마크가 묻는 핵심은 영상 속 사물을 한 번 맞히는가가 아닙니다. 입력된 시각·청각 정보에서 현재 상태를 추출하고, 과거 목표와 대조한 뒤, 답해야 할 때만 필요한 정보를 짧고 정확하게 출력하는 전체 흐름을 평가합니다. 전체 평균에서 Gemini-3-Pro가 66.4점에 그친 결과는 인식, 기억, 목표 추적, 응답 억제가 동시에 충족되어야 실제 보조가 가능하다는 점을 나타냅니다.

관련 Figure

Infographic
상단 사례는 영상 속 손동작이나 화면에 적힌 질문을 Prompt로 사용해 모델이 시각적 지시와 문자를 읽어야 하는 상황을 나타냅니다. 중간 사례는 사용자의 운영체제처럼 현재 환경에 맞는 정보를 이용해 답하거나, TODO 목록에 없는 커피 컵을 혼동하지 않고 추적하는 장면을 담습니다. 하단 사례는 화면 자막의 가격과 주간 평균 금액을 구분해 필요한 이벤트에만 반응하도록 하며, 단순 장면 Caption과 보조자형 응답의 차이를 구체화합니다.
Gesture-based Prompt Following, OCR-based Prompt Following, Context-aware Response, Multitask Tracking, Multi Event-triggered Response의 대표 사례를 묶은 Figure입니다.

방법론

데이터 구축은 시나리오 설계와 영상 수집, QA 설계, 영상 편집과 사용자 Prompt 삽입, 품질 보정의 네 단계로 진행됩니다. 연구자들은 먼저 각 과제에서 필요한 상황을 LLM과 함께 구상하고, YouTube와 기존 행동 인식·Instructional Video·감정 분석 데이터셋에서 세부 Plot에 맞는 영상을 찾았습니다. 넓은 주제나 키워드가 아니라 여러 사람이 계속 등장하거나 특정 순서로 커피를 만드는 식의 조건을 검색했으며, 온라인에서 찾기 어려운 장면은 직접 촬영했습니다.

QA 설계에서는 Basic 과제에 영상 속 객체와 사건을 묻고, Advanced 과제에는 영상에서 추출한 사용자 목표와 prior knowledge를 연결했습니다. 원본 영상이 Latte 제조 과정에서 Espresso 추출 후 우유 준비를 담고 있다면, 정답 경로도 그 순서를 따르도록 설정합니다. 각 샘플에는 Ground Truth Sentence와 반드시 포함되어야 하는 1~3개의 Key Points를 부여하고, 채점기는 정답 문장과의 의미 유사도 및 핵심 구절 포함 여부를 함께 계산합니다.

온라인 상호작용의 시간 순서는 오프라인 입력 안에 보존됩니다. 일반 질문은 TTS 음성으로 바꾸어 영상 끝에 삽입하고, 손동작과 손글씨 Prompt는 picture-in-picture 영상으로 넣으며, 사용자 목표는 화면 자막으로 표시합니다. 멀티턴 클립에서는 현재 구간의 시작을 이전 턴의 종료 시점과 정확히 맞추고, 비시간성 과제의 영상은 30~180초로 수동 절단하면서 필요한 단서를 보존했습니다.

마지막으로 전문가가 주석의 논리적 완전성을 확인하고, Gemini-3-Pro가 정답과 표현은 다르지만 논리적으로 맞는 답을 만들면 이를 대체 참고답으로 추가했습니다. 모든 평가는 GPT-5 기반 5점 judge rubric으로 수행한 뒤 0~~5점을 0~~100점으로 정규화했으며, 60점 이상을 최소한 부분적으로 유효한 답변으로 정의했습니다. 불필요한 중복과 환각 정보에도 감점을 적용해 영상 전체를 무차별적으로 캡션하는 방식이 높은 점수를 얻지 못하게 했습니다.

관련 Figure

Diagram
첫 단계에서는 필요한 Plot을 정하고 원본 영상을 수집하며, 두 번째 단계에서는 사용자 목표와 QA 목록을 만듭니다. 세 번째 단계에서는 목표를 이미지로 삽입하고 중복 클립을 제거하며 질문을 각 클립 끝에 TTS 오디오로 넣고, 네 번째 단계에서는 모델 답변과 QA 라벨을 비교해 유효한 대체 답변을 보강합니다. 영상 수집과 수작업 편집이 단순 자동 Caption 생성으로 대체되기 어려운 이유를 단계별 입력과 처리 과정으로 나타냅니다.
OmniAssistBench 데이터 구축을 시나리오 수집부터 QA 설계, 영상 편집, 품질 보정까지 네 단계로 나눈 Figure입니다.

주요 결과

OmniAssistBench는 7개 주요 과제, 16개 하위 과제, 3개 실제 사례로 구성됩니다. 전체 데이터는 300개 영상과 685개 QA 쌍이며 평균 영상 길이는 182.25초입니다. Basic 과제는 Social Perception, Temporal Perception, Referential Perception, Non-audio Prompt Following으로 구성되고, Advanced 과제는 Context-aware Response, Proactive Response, Process Tracking으로 구성됩니다.

전체 평균에서 Gemini-3-Pro는 66.4점으로 폐쇄형 모델 중 가장 높았고 Qwen3-Omni-Instruct는 51.2점으로 공개 모델 중 가장 높았습니다. 두 점수 모두 60점 기준을 넘거나 밑도는 수준이어서, 현재 모델이 사용자 입력을 대체로 이해하더라도 정확하고 완전한 보조 답변을 안정적으로 생성하지 못함을 나타냅니다. 세 실제 사례에서는 폐쇄형 모델 평균이 51.2점, 공개 모델 평균이 34.8점으로 격차가 더 커졌습니다.

Basic 과제에서는 눈에 잘 띄지 않는 객체를 찾거나 비슷한 객체 중 사용자가 가리킨 대상을 고르는 상황에서 성능이 떨어졌습니다. 목표 객체가 10개를 넘으면 성능 저하가 나타났고, 손동작 Prompt는 폐쇄형과 공개형 모델 모두에서 취약했습니다. 이는 손동작이 배경 움직임과 구분하기 어렵고 학습 과정에서 손동작 기반 지시를 충분히 접하지 못했을 가능성과 연결됩니다.

Advanced 과제에서는 기억 용량과 응답 시점이 주요 병목이었습니다. 32k 컨텍스트를 사용하는 MiniCPM-o-2.6은 1 FPS 기준 약 380초의 영상을 유지했지만, Qwen 계열은 프레임당 더 많은 토큰을 인코딩해 유효 기억이 약 80초로 짧았습니다. 시각 정보만 남긴 조건에서는 Proactive Response 점수가 오히려 높아졌는데, 전체 오디오에서 배경 발화를 새 사용자 지시로 오인하는 오류가 줄었기 때문입니다.

해상도를 1080p에서 360p로 낮춰 약 50초 더 긴 시간 정보를 담은 Qwen3-Omni-Instruct 실험에서는 전체 벤치마크 점수의 뚜렷한 변화가 없었습니다. 이는 긴 컨텍스트만 늘리는 방식으로는 10분 이상 지속되는 실제 사례의 문제를 해결하기 어렵고, 목표 유지와 상태 연결도 별도의 병목임을 뜻합니다. 서로 다른 judge인 GPT-5, GLM-5, DeepSeek-v3.2 사이의 Pearson 상관계수는 모두 0.75 이상이었으며, 그림의 값 대부분은 0.8 안팎 또는 그 이상이었습니다.

관련 Figure

Chart
각 히트맵의 대각선 밖 값은 서로 다른 judge LLM이 같은 후보 모델을 평가했을 때의 상관계수이며, 예시 값은 0.76부터 0.91까지 분포합니다. 모든 계수가 0.75를 넘고 대부분 0.8 이상이어서, 평가 기준을 동일하게 주면 judge 선택에 따른 순위와 점수 경향이 대체로 일치합니다. 이는 GPT-5만 사용한 본 평가의 결과가 특정 judge 모델의 판단에만 좌우되지 않는지 확인한 실험입니다.
GPT-5, GLM-5, DeepSeek-v3.2가 네 후보 모델의 답변을 채점한 결과 사이의 Pearson 상관계수를 나타낸 네 개의 히트맵입니다.

기술 상세

데이터의 기본 단위는 질문이 영상 안에 삽입된 QA 쌍입니다. 각 쌍은 입력 영상, Ground Truth Sentence, 1~3개의 Key Points로 구성되며, 선택지 없이 열린 질문을 사용해 모델이 먼저 질문을 이해하고 영상에서 관련 단서를 찾도록 합니다. 사용자 발화는 TTS 음성으로 영상 끝에 배치하고, 손동작과 손글씨 지시는 picture-in-picture 클립으로 넣어 실제 스트리밍에서 Prompt가 도착한 뒤 추론하는 순서를 오프라인에서 재현합니다.

평가 체계는 Basic과 Advanced의 두 계층으로 나뉩니다. Basic에서는 사람 간 관계와 감정, 과거의 비현저한 사건, 위치나 가리키기로 지정된 객체, 비음성 지시를 평가하고, Advanced에서는 구체적 환경에 맞는 조언, 목표 사건까지 기다리는 판단, 긴 작업의 단계별 상태 추적을 평가합니다. 실제 사례는 Meeting Simulation에서 12명이 참여하는 약 20분 회의와 스크린샷·메모를, Blind Assistance에서 객체 지목·지도 기반 이동·특정 인물 도착 알림을, Handicraft Process Tracking에서 세 사람의 대화 대상과 화면 밖으로 이동한 작은 공예품을 함께 다룹니다.

모델 입력은 대체로 1080p 원본 해상도를 유지하고 Gemini 계열 이외의 모델은 초당 1프레임으로 샘플링했습니다. 컨텍스트 한도를 넘으면 가장 오래된 상호작용 기록부터 버리는 FIFO 정책을 적용했으며, 시스템 Prompt는 답변이 필요하지 않을 때 정확히 [KEEP QUIET]를 출력하도록 요구했습니다. 채점은 GPT-5 judge가 5점 기준으로 수행하고 60점 이상을 부분적으로 유효한 답변, 40점을 지시 이해는 했지만 사실적으로 틀린 답변, 20점 이하를 지시 이해 자체의 실패로 해석합니다.

멀티턴 오류 전파를 분리하기 위해 teacher forcing 조건에서는 현재 턴 이전의 모델 답변을 Ground Truth Answer로 교체했습니다. 정답 기록을 제공하면 일부 점수는 올랐지만, 모델이 짧은 정답 형식에 적응한 뒤에도 영상과 정답을 연결하지 못하는 경우가 남았습니다. 따라서 오류 누적만 줄이는 것보다 시각 상태와 사용자 목표를 장기간 결합하는 기억 구조가 더 직접적인 해결 과제로 남습니다.

한계점

저자들은 이 벤치마크가 원본 Internet 영상의 역설계와 수작업 편집에 크게 의존하며, 구축에 전문가 1000시간 이상이 필요하다고 명시했습니다. 또한 고정된 prior knowledge와 하나의 정답 경로를 사용하므로 실제 사용자가 여러 방식으로 목표를 달성하는 경로의 다양성을 모두 반영하지는 않습니다.

실무 활용

OmniAssistBench의 데이터 형식과 공개 저장소를 이용하면 영상·오디오·텍스트를 동시에 처리하는 Omni-LLM의 실제 보조 능력을 과제별로 비교할 수 있습니다. 특히 손동작 지시, 긴 대화 기록, 사용자 목표 추적, 특정 사건까지 기다리는 응답 정책을 하나의 평가 흐름에서 점검할 수 있습니다.

영상 보조 모델이 손동작과 손글씨 같은 비음성 Prompt를 정확히 따르는지 측정하는 평가 세트로 활용할 수 있습니다.
멀티턴 대화에서 초기 TODO 목록과 이후 영상 상태를 계속 연결하는 장기 기억 성능을 비교할 수 있습니다.
배경 음성에는 침묵하고 목표 사건이 발생했을 때만 답하는 Proactive Response 정책을 검증할 수 있습니다.
회의 기록, 시각장애인 안내, 수공예 공정 추적처럼 여러 능력이 동시에 필요한 실제 보조 시나리오를 점검할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Diagram
Meeting Simulation에서는 회의 발언자 식별, 스크린샷 순간 기억, 메모 속 질문 회수가 이어지고, Blind Assistance에서는 목표 외투 선택, 지도 기반 이동, 특정 인물 도착 알림이 순차적으로 발생합니다. Handicraft Process Tracking에서는 세 사람이 공예품을 만들며 누구에게 말하는지와 컵·티켓 같은 작은 대상의 상태를 계속 추적해야 합니다. 각 열의 클립 시간과 질문은 장시간 영상에서 여러 능력과 사용자 목표를 동시에 유지해야 하는 실제 평가 조건을 나타냅니다.
Meeting Simulation, Blind Assistance, Handicraft Process Tracking의 세 실제 사례에서 시간에 따른 사용자 목표와 모델이 처리해야 할 사건을 정리한 Figure입니다.

키워드

Omni-LLM(옴니 모달 대규모 언어 모델)OmniAssistBench(대화형 영상 보조 벤치마크)멀티턴 상호작용시각적 Prompt장기 컨텍스트 기억선제적 응답사용자 목표 추적비음성 지시 추종

용어 해설

옴니 모달 대규모 언어 모델(Omni-LLM): — 텍스트뿐 아니라 영상과 오디오를 함께 입력으로 처리하는 대규모 언어 모델입니다. 여러 모달리티의 정보를 하나의 추론 과정에서 결합해 실시간 영상 보조, 음성 대화, 시각적 상황 파악 같은 작업을 수행하는 데 사용됩니다.
멀티턴 상호작용(Multi-turn Interaction): — 사용자와 모델이 한 번의 질문과 답변으로 끝나지 않고 여러 차례 대화를 이어가는 방식입니다. 이전 답변과 사용자 목표를 다음 입력에 계속 반영해야 하므로, 대화 기록 유지와 시점별 상태 추적이 핵심입니다.
컨텍스트 윈도(Context Window): — 모델이 한 번에 처리하고 기억할 수 있는 입력 토큰의 최대 범위입니다. 영상 프레임과 대화 기록이 이 한도를 넘으면 오래된 정보가 제거되거나 모델이 과거 상호작용을 잊어 이후 답변의 정확도가 떨어질 수 있습니다.
교사 강요(Teacher Forcing): — 멀티턴 평가에서 이전 모델 답변 대신 정답 답변을 대화 기록에 넣어 다음 턴을 계산하는 방법입니다. 과거 답변의 오류 전파를 차단해 현재 턴 자체의 능력을 따로 측정하지만, 정답 기록이 있어도 영상과 목표를 연결하지 못하는 문제까지 해결하지는 못합니다.
선제적 응답(Proactive Response): — 사용자 질문에 즉시 반응하는 것이 아니라 영상 속 목표 사건이 발생했을 때만 적절한 시점에 답하는 능력입니다. 모델은 현재 입력에 응답할 필요가 있는지 판단하고, 배경 음성이나 무관한 장면에는 [KEEP QUIET]를 출력해야 합니다.

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

GST-Bench: 비디오 기반 글로벌 공간 인식 벤치

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

GST-Bench: 비디오 기반 글로벌 공간 인식 벤치