비디오 추론 벤치마크 SPLICE에서 Claude가 제외된 기술적 이유

Claude의 텍스트 및 코딩 성능을 높게 평가하면서도 비디오 기능 부재에 대해서는 아쉬움을 표하는 반응이 많다. Anthropic의 선택과 집중 전략을 이해하지만 멀티모달 경쟁에서 뒤처질 수 있다는 우려가 제기되었다.

• 비디오 데이터의 시간적 흐름이나 인과관계 분석이 필요한 프로젝트라면 Claude 대신 Gemini 1.5 Pro나 Qwen2-VL을 검토해야 한다.
• 비디오를 이미지로 변환해 Claude에 입력할 경우 움직임 정보가 유실되므로 정적인 장면 분석에만 한정하여 사용해야 한다.

• 연구자는 Claude가 비디오 입력을 지원하지 않는 한 비디오 이해와 관련된 학술적 벤치마크에서 지속적으로 배제될 수밖에 없음을 지적했다.

• 비디오 순서 재구성 과업에서 인간(85%)과 AI 모델(최대 51%) 사이에는 여전히 큰 지능적 격차가 존재한다.
• Claude는 텍스트와 이미지 입력에는 강점이 있으나 네이티브 비디오 입력을 처리할 수 있는 기능이 아예 존재하지 않는다.
• Gemini Flash와 Qwen2-VL 같은 모델들은 비디오 입력을 지원하지만 복잡한 시간적 인과관계 추론에서는 여전히 한계를 드러냈다.
• 비디오 이해를 평가할 때 프레임 추출 방식은 영상의 핵심 정보인 움직임과 전환 맥락을 훼손하므로 네이티브 입력 지원 여부가 중요하다.