Gemini 3.7 Flash 영상 편집 결정 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

같은 multimodal model을 긴 영상 편집 판단에 적용하면서, 모델이 필요한 구간을 단계적으로 검사하는 agentic video inspection과 전체 영상을 정적으로 처리하는 방식을 비교했습니다. 10분짜리 합성 영상 6개를 대상으로 프롬프트와 평가 기준을 고정한 결과, 유효한 5개 matched pair에서 agentic 방식은 brief event 20개 중 18개를 복구해 static 방식의 15개보다 높았고 edit-decision macro F1도 0.6807 대 0.5481로 앞섰습니다. 반면 static 방식은 broad moment F1에서 0.3000 대 0.2667로 우세했고 evidence accuracy가 약간 높았으며 비용과 지연시간도 낮았습니다. 표본이 작고 합성 데이터만 사용했으며 사람의 시청 패널도 없으므로 일반적인 benchmark라기보다 탐색적 적용 결과로 해석해야 합니다.

섹션별 상세

긴 영상 편집에서는 모델이 전체 영상을 한 번에 읽는 방식과 필요한 장면을 단계적으로 찾아가는 방식의 차이가 핵심 비교 대상이었습니다. 실험은 사건과 편집 목표가 알려진 10분짜리 합성 영상 6개로 구성됐고, 실행 전에 프롬프트와 점수 산정 방식을 고정했습니다. 재시도나 수동 수정 없이 event recovery, moment retrieval, evidence accuracy, edit decisions, latency, tokens, cost를 같은 조건에서 측정했습니다.

유효한 matched pair 5개에서 agentic video inspection은 brief event 20개 중 18개를 복구해 static full-video pass의 15개보다 높은 결과를 냈습니다. 편집 결정의 macro F1도 agentic 방식이 0.6807, static 방식이 0.5481로 차이가 났습니다. 필요한 구간을 순차적으로 검사하는 처리가 짧거나 구체적인 사건을 찾고 편집 결정을 내리는 데 더 유리하게 작동한 결과입니다.

전체적인 장면 검색에서는 static 방식이 broad moment F1 0.3000으로 agentic 방식의 0.2667보다 높았습니다. Static 방식은 evidence accuracy도 약간 더 높았고 비용과 지연시간도 낮았지만, agentic 실행 중 한 건은 JSON output contract를 지키지 못해 유효 비교에서 제외됐습니다. 따라서 세부 사건 복구와 편집 판단에는 agentic 방식의 장점이 나타났지만, 넓은 장면 검색과 운영 효율에서는 static 방식이 앞선다는 trade-off가 확인됐습니다.

이번 결과는 합성 영상 6개와 유효 matched pair 5개에 기반하며 사람의 시청 패널을 포함하지 않았습니다. 연구자는 이를 일반적인 benchmark 성능으로 확장하지 않고 applied exploratory result로 한정했습니다. benchmark를 공개한 PaperEdits와 작성자의 소속 관계도 함께 밝혔고, protocol·raw outputs·scoring code·limitations를 무료로 제공했습니다.

용어 해설

에이전트형 영상 검사(Agentic Video Inspection): — 모델이 전체 영상을 한 번에 처리하지 않고 필요한 구간을 단계적으로 탐색하는 방식입니다. 영상에서 후보 장면을 찾고 추가 검사를 수행한 뒤 사건 복구나 편집 판단에 필요한 근거를 모으므로, 긴 영상의 세부 이벤트 확인에 초점을 둡니다.
Macro F1: — 여러 분류 항목의 F1 점수를 각각 계산한 뒤 동일한 가중치로 평균낸 평가 지표입니다. 일부 항목의 데이터가 적거나 클래스별 성능 차이가 클 때 전체 편집 판단 성능을 한쪽 클래스에 치우치지 않게 비교하는 데 사용됩니다.
이벤트 복구(Event Recovery): — 영상 안에 미리 정의된 사건을 모델이 얼마나 정확하게 찾아내는지 측정하는 기준입니다. 이 실험에서는 10분짜리 합성 영상에 삽입된 brief event를 실제로 복구한 개수로 두 처리 방식의 세부 사건 탐지 능력을 비교했습니다.
근거 정확도(Evidence Accuracy): — 모델이 편집 결정을 뒷받침하기 위해 선택하거나 제시한 영상 근거가 실제 사건 및 목표 장면과 얼마나 맞는지 평가하는 기준입니다. 이벤트를 찾는 능력뿐 아니라 결정에 사용한 증거의 타당성까지 측정한다는 점에서 별도 지표로 활용됩니다.

언급된 도구

Gemini 3.7 Flash중립

긴 영상에서 이벤트를 찾고 편집 결정을 내리는 multimodal model

언급된 리소스

문서Benchmarking Gemini Agentic Video Understanding Benchmark