비디오 추론 벤치마크 SPLICE에서 Claude가 제외된 기술적 이유

Claude의 텍스트 및 코딩 성능을 높게 평가하면서도 비디오 기능 부재에 대해서는 아쉬움을 표하는 반응이 많다. Anthropic의 선택과 집중 전략을 이해하지만 멀티모달 경쟁에서 뒤처질 수 있다는 우려가 제기되었다.

• 비디오 데이터의 시간적 흐름이나 인과관계 분석이 필요한 프로젝트라면 Claude 대신 Gemini 1.5 Pro나 Qwen2-VL을 검토해야 한다.
• 비디오를 이미지로 변환해 Claude에 입력할 경우 움직임 정보가 유실되므로 정적인 장면 분석에만 한정하여 사용해야 한다.

비디오 순서 재구성 벤치마크(SPLICE)

— 비디오를 이벤트 기반 클립으로 자르고 섞은 뒤 모델이 올바른 순서로 재구성하도록 요구하는 평가 지표이다. 모델의 시간적, 인과적, 공간적 추론 능력을 동시에 측정하며 인간과 AI의 성능 격차를 확인하는 데 사용된다.

멀티모달(Multimodal)

— 텍스트, 이미지, 비디오, 오디오 등 서로 다른 형태의 데이터를 동시에 입력받아 처리하고 이해하는 모델의 능력이다. 비디오 이해를 위해서는 프레임 간의 연속성과 움직임을 파악하는 고도의 멀티모달 추론이 필요하다.

시간적 추론(Temporal Reasoning)

— 시간의 흐름에 따라 발생하는 사건들의 순서와 인과관계를 파악하는 논리적 사고 과정이다. 비디오 데이터에서 이전 프레임과 다음 프레임 사이의 변화를 해석하여 전체 맥락을 이해하는 핵심 기술이다.

네이티브 비디오 입력(Native Video Input)

— 비디오를 개별 이미지 프레임으로 분리하지 않고 파일 형태 그대로 모델에 입력하여 처리하는 방식이다. 영상의 움직임, 전환 효과, 시간적 흐름을 손실 없이 모델이 직접 학습하거나 추론할 수 있게 한다.