실제 위기 영상으로 검증한 AI 생성 비디오 탐지

왜 중요한가

AI로 만든 위기 영상이 실제 사건의 증거처럼 유통될 때 사람과 탐지기가 함께 속을 수 있는지를 실제 사건 기반으로 측정한 연구입니다. RA-Bench는 675개 공개 원본에서 추출한 실제 영상 1,830개와 9개 생성 출처의 생성 클립 16,056개를 동일한 장면 쌍으로 구성해 일반적인 비디오 벤치마크보다 현실적인 조건을 만들었습니다. 공개 기준에서 67.6–98.6%였던 전통적 탐지기의 AUC가 RA-Bench에서는 출처별 평균 43.9–57.3%로 낮아졌고, 사회적 유통 Full 조건에서는 Fine-tuned MLLM의 평균 FakeR이 46.0%에서 1.4%로 떨어졌습니다.

핵심 기여

실제 위기 사건 기반 RA-Bench 구축

675개 공개 영상에서 10개 사회적 위험 범주와 44개 하위 범주를 구성하고, 장면 분할·중복 제거·2단계 수동 검토를 거쳐 1,830개의 실제 영상 앵커를 남겼습니다. 각 앵커의 첫 프레임과 공유 프롬프트를 4개 오픈소스 및 5개 클로즈드소스 생성기에 입력해 16,056개 생성 클립을 짝지었습니다. 이 구조는 동일한 사건 의미와 첫 장면을 유지한 채 실제 영상과 생성 영상의 탐지 차이를 측정하게 합니다.

세 탐지기 계열의 출처 일반화 평가

7개 전통적 탐지기, 3가지 프롬프트 설정의 10개 zero-shot 멀티모달 모델, AI 생성 비디오 탐지용으로 Fine-tuning한 2개 MLLM을 RA-Bench의 여러 생성 출처에서 비교했습니다. 전통적 탐지기의 출처별 평균 AUC는 43.9–57.3%에 머물렀고, zero-shot 모델은 프롬프트와 생성 출처에 따라 성능과 클래스 선호가 달라졌습니다. Skyra는 timestamp를 frame index로 바꾸자 평균 BAcc가 54.4–54.9%로 낮아졌고, BusterX++는 FakeR 4.1–9.1%에 그쳤습니다.

생성 조건과 샘플링 요인의 분리 측정

VBench++ 품질 점수, Condition Fidelity, 동적 정도, T2V와 I2V 조건, sampling seed가 탐지 출력에 미치는 연관성을 출처별로 비교했습니다. Condition Fidelity가 50포인트 증가할 때 Gemini Diagnostic의 FakeR은 14.4포인트 낮아졌지만, 동적 콘텐츠는 Gemini의 가짜 증거만 늘리고 전통적 탐지기 평균에는 거의 변화를 주지 않았습니다. T2V에서 첫 프레임 I2V, 첫째·마지막 프레임 I2V로 갈 때 Fine-tuned MLLM 평균 FakeR은 70.5%에서 42.7%, 28.3%로 감소했으며, 세 seed 사이의 출처별 변화는 작았습니다.

사람의 오인과 사회적 유통 후 취약성 측정

20명의 검토자가 생성 영상의 진위를 판단해 다섯 명 모두 실제라고 판단한 633개 클립으로 RA-Bench-HumanProof를 구성했습니다. 이 하위 집합에서 Gemini Binary와 Diagnostic의 BAcc는 54.7%와 54.5%, 7개 전통적 탐지기의 평균 AUC는 47.5%로 나타났습니다. RA-Bench-LastMile에서 재인코딩·다운샘플링·프레임률 감소·뉴스 배지를 모두 적용하면 Fine-tuned MLLM의 평균 FakeR이 46.0%에서 1.4%로 감소했습니다.

핵심 아이디어 이해하기

일반적인 영상 탐지기는 학습 데이터에서 반복되는 프레임 흔적이나 시간적 불연속을 가짜 신호로 사용합니다. 그러나 RA-Bench는 실제 위기 영상의 첫 프레임을 입력으로 삼아 생성 영상이 원본 장면의 구도와 조명을 유지한 채 이후 움직임만 합성하도록 만들므로, 단순한 장면 차이나 생성기별 고정 흔적을 이용하기 어렵게 합니다. 같은 앵커와 프롬프트에서 생성 출처를 바꾸면 전통적 탐지기의 평균 AUC가 43.9–57.3%로 흔들리고, 일부 탐지기·출처 조합은 50% 아래로 내려가 생성 영상에 더 낮은 가짜 점수를 부여합니다. MLLM은 시각 입력뿐 아니라 프롬프트 형식과 시간 표기에도 반응합니다. Skyra에 같은 16개 프레임을 넣고 timestamp를 frame index로만 교체하자 평균 BAcc가 68.5–69.5%에서 54.4–54.9%로 낮아졌으므로, 높은 점수가 영상 내용보다 입력 프로토콜의 단서에서 나왔을 가능성이 확인됩니다. 사람이 실제라고 판단한 영상은 탐지기에도 어려워 Gemini Binary BAcc 54.7%, 전통적 탐지기 평균 AUC 47.5%에 머뭅니다. 여기에 재인코딩과 해상도·프레임률 변환을 적용하면 탐지기가 생성 클래스를 가리키는 신호를 잃고 실제 클래스로 치우치므로, 모델 규모나 단일 벤치마크 점수만으로 실제 유통 환경의 신뢰성을 보장하기 어렵습니다.

방법론

RA-Bench 구축은 공개 영상 수집, 자동 전처리, 수동 검토, 보존 클립 후처리, 쌍별 생성의 5단계로 진행됩니다. 675개 원본 영상은 PySceneDetect로 장면 단위로 분할하고 FFmpeg로 저장해 5,774개 검토 클립을 만들었으며, ResNet-18 임베딩과 프레임·클립 수준 cosine similarity로 인접 중복 후보를 표시했습니다. 1차에서는 7명의 검토자가 품질·범주 적합성·길이·중복·출처 위험을 평가하고, 불일치나 uncertain 사례는 4명의 adjudicator가 2차 판정해 2,426개를 남겼습니다. 이후 3–15초로 길이를 제한하고 모든 실제 클립을 H.264로 통일했으며, 동질적인 중복과 재배포 권리 문제를 다시 걸러 338개 원본에서 1,830개 앵커를 확정했습니다. 생성 단계에서는 Gemini-3.1-Pro-Preview로 각 실제 클립을 캡션화하고 동일한 프롬프트와 첫 프레임을 4개 오픈소스 및 5개 클로즈드소스 I2V 생성기에 입력했습니다. 생성 길이는 대응 실제 클립에 비례하되 2–8초로 제한했고, 생성 클립도 H.264로 재인코딩하고 오디오는 제거했습니다. 탐지 평가는 연속 점수에 paired AUC와 TPR@5%FPR, 이산 판정에 BAcc·macro-F1·FakeR을 사용했으며, 품질·조건·seed·사람 판단·유통 변환을 별도 축으로 비교했습니다.

주요 결과

전통적 탐지기의 공개 기준 AUC는 67.6–98.6%였지만 RA-Bench의 생성 출처별 평균은 오픈소스 50.9–57.3%, 클로즈드소스 43.9–54.0%로 낮아졌습니다. 63개 탐지기·출처 조합 중 26개는 AUC 50% 미만이었고, 생성 영상 재현율을 실제 영상에서 5% 오탐으로 제한하면 전통적 탐지기 평균 T@5%가 오픈소스 6.0–7.5%, 클로즈드소스 2.8–6.4%에 그쳤습니다. 같은 공개 기준에서 강했던 탐지기가 RA-Bench에서 계속 강하지 않았으며, 생성기별 최고 탐지기도 DeCoF·ForgeLens·ReStraV 사이에서 바뀌었습니다. Zero-shot 멀티모달 모델 중 Gemini-3.1-Pro-Preview가 상대적으로 높아 Binary BAcc 63.4%, Diagnostic BAcc 63.1%, Rating AUC 63.6%를 기록했지만, Binary BAcc는 Seedance2.0에서 54.3%, LTX에서 74.5%로 출처별 편차가 컸습니다. Qwen 계열은 모델 규모를 키워도 모든 출처와 프롬프트에서 일관된 상승을 보이지 않았고, 일부 작은 모델은 프롬프트만 바꿔 FakeR이 19.7%에서 100.0%까지 반전됐습니다. 인간 검토에서는 오픈소스 생성 영상의 FakeR이 68.6%, 클로즈드소스가 52.9%였으며, Seedance2.0과 Kling은 각각 40.7%와 45.1%로 특히 낮았습니다. 다섯 명 모두 실제라고 판단한 633개 HumanProof 영상에서 Gemini Binary·Diagnostic BAcc는 54.7%와 54.5%, 전통적 탐지기 평균 AUC는 47.5%였습니다. 사회적 유통 Full 조건에서는 전통적 탐지기 평균 AUC가 51.4%에서 47.3%로, Fine-tuned MLLM 평균 FakeR이 46.0%에서 1.4%로 감소했습니다.

기술 상세

실제 앵커 세트는 3–15초로 길이를 정규화하고 H.264로 통일한 1,830개 클립이며, 평균 길이는 10.08초, 총 길이는 18,448초입니다. 각 앵커에 대해 첫 프레임과 캡션 기반 공유 프롬프트를 조건으로 I2V 생성 영상을 만들고 생성 길이를 2–8초로 매핑해 길이 자체가 탐지기의 단서가 되는 것을 줄였습니다. 생성 출처는 4개 오픈소스와 5개 클로즈드소스이며, 클로즈드소스는 제공자 안전 필터 때문에 일부 쌍이 빠져 전체 생성 클립 수가 16,056개가 됐습니다. 전통적 탐지기는 이미지·프레임 수준과 시간 수준 증거를 사용하고, MLLM 계열은 프롬프트에 따라 Binary·Diagnostic·Rating 출력을 생성합니다. Global–Local-8은 8프레임 예산 안에서 균일 샘플 4개와 시간 변화가 큰 구간의 연속 프레임 4개를 결합했지만 Uniform-8 대비 평균 AUC 개선은 0.99포인트에 그쳤습니다. 생성 품질과 탐지 출력의 관계는 출처와 Dynamic Degree 그룹 안에서 조정해 계산했으며, Condition Fidelity의 사분위 범위 증가가 Gemini Diagnostic FakeR을 14.4포인트 낮추는 반면 동적 클립은 Gemini의 가짜 증거를 5.5–8.4포인트 높였습니다. Wan2.2에서 T2V·첫 프레임 I2V·첫째와 마지막 프레임 I2V를 비교하면 전통적 7개 탐지기 평균 AUC는 33.4%·50.9%·44.6%, Fine-tuned MLLM 평균 FakeR은 70.5%·42.7%·28.3%였습니다. 세 seed를 비교했을 때 전통적 탐지기의 출처별 평균 AUC 최대 범위는 LTX에서 1.05포인트였고, Skyra-SFT·Skyra-RL·BusterX++의 FakeR 최대 범위는 각각 2.35·2.46·0.71포인트였습니다.

한계점

논문은 RA-Bench가 빠르게 변하는 생성기와 탐지기 생태계의 한 시점만 포착하며 9개 I2V 생성 출처와 시각 정보 중심 탐지만 포함한다고 명시합니다. 실제 악용은 생성, 선택적 편집, 오디오 합성, 맥락 캡션, 플랫폼 반복 처리를 결합할 수 있지만, 현재 평가는 I2V 생성과 사회적 유통을 분리한 통제 단계로 구성됩니다. 사람 판단도 주변의 사회적 맥락과 신뢰 단서가 제거된 통제 인터페이스에서 수집했으므로 실제 온라인 환경의 판단을 완전히 재현하지는 않습니다.

실무 활용

RA-Bench는 생성 비디오 탐지기를 실제 사건 의미, 생성 출처, 프롬프트 형식, 시간 표기, 플랫폼 후처리까지 함께 검증하는 평가 틀로 활용할 수 있습니다. 특히 단일 평균 점수 대신 출처별 AUC·BAcc·FakeR과 사람 오인 하위 집합을 함께 확인해 탐지기의 클래스 편향과 프로토콜 의존성을 분리할 수 있습니다. 논문은 저장소와 데이터셋의 공개를 명시하며, 실제 적용에서는 라이선스 메타데이터와 사회적 유통 변환 조건을 함께 관리해야 합니다.

실제 위기 사건을 바탕으로 한 생성 영상 탐지기의 출처 간 일반화 성능 비교
동일한 영상에 Binary·Diagnostic·Rating 프롬프트를 적용한 zero-shot 멀티모달 모델의 프롬프트 민감도 점검
재인코딩·해상도 축소·프레임률 감소·뉴스 배지 추가 이후 탐지 성능을 측정하는 플랫폼 후처리 평가
사람이 실제라고 판단한 RA-Bench-HumanProof에서 탐지기의 가짜 영상 재현율과 클래스 편향 점검

코드 공개 여부: 공개

코드 저장소 보기

키워드

AI-generated video detection(AI 생성 비디오 탐지)RA-Bench(실제 영상 앵커 벤치마크)zero-shot multimodal models(zero-shot 멀티모달 모델)MLLMs(멀티모달 대규모 언어 모델)detector generalization(탐지기 일반화)social dissemination(사회적 유통)Image-to-Video(I2V) 생성human deception(사람 오인)

용어 해설

Image-to-Video 변환(Image-to-Video): — 입력 이미지와 텍스트 조건을 받아 시간축의 움직임을 추가해 영상을 생성하는 방식입니다. RA-Bench에서는 실제 위기 영상의 첫 프레임과 공유 프롬프트를 생성기에 입력해 원본 장면과 의미가 맞는 가짜 영상을 만들었습니다. 동일한 실제 앵커에서 생성 영상을 파생하므로 생성 여부 탐지 성능을 쌍으로 비교할 수 있습니다.
쌍별 AUC(Paired AUC): — 서로 대응하는 실제 영상과 생성 영상을 비교해 가짜 점수가 올바른 순서를 만드는 정도를 측정하는 지표입니다. AUC 50%는 두 클래스의 순위가 무작위인 상태이고, 100%에 가까울수록 생성 영상을 더 일관되게 높은 가짜 점수로 배치합니다. 이 논문은 일반적인 공개 기준과 실제 위기 사건에 맞춘 RA-Bench의 성능 차이를 비교하는 데 사용했습니다.
가짜 영상 재현율(FakeR): — 실제로 생성된 영상 중 탐지기가 생성 영상으로 판정한 비율입니다. 예를 들어 FakeR 1.4%는 생성 영상 100개 가운데 평균 1.4개만 가짜로 판정하고 나머지를 실제 영상 쪽으로 분류했다는 뜻입니다. 사회적 유통 과정을 거친 뒤 이 값이 46.0%에서 1.4%로 떨어져 탐지 신호가 실제 클래스 쪽으로 무너지는 현상을 측정했습니다.
조건 충실도(Condition Fidelity): — 생성 영상이 입력된 실제 이미지의 인물·사물과 배경을 얼마나 유지하는지 나타내는 품질 측정값입니다. RA-Bench에서는 Video–Image Subject Consistency와 Background Consistency를 정규화한 뒤 평균해 계산했습니다. 이 값이 높아질수록 Gemini-3.1-Pro-Preview와 전통적 탐지기의 가짜 증거가 모두 약해지는 연관성이 관찰됐습니다.
사회적 유통 시뮬레이션(Social Dissemination Simulation): — 영상이 플랫폼을 거치며 겪을 수 있는 재인코딩, 해상도 축소, 프레임률 감소, 뉴스 배지 추가를 통제해 탐지 성능 변화를 측정하는 절차입니다. RA-Bench-LastMile은 원본 조건부터 네 가지 처리를 모두 적용한 Full 조건까지 실제 앵커와 생성 영상에 동일한 변환을 적용했습니다. Full 조건에서 Fine-tuned MLLM의 평균 FakeR이 46.0%에서 1.4%로 감소해 유통 후 탐지 취약성을 드러냈습니다.

실제 위기 영상으로 검증한 AI 생성 비디오 탐지

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

ImageBench의 텍스트-이미지 평가 기준

KYC 딥페이크 검출에서 AUC가 놓치는 것

참조 의미를 보존하는 결과 중심 영상 생성 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 생성 모델의 시각 추론 능력 평가

ImageBench의 텍스트-이미지 평가 기준

KYC 딥페이크 검출에서 AUC가 놓치는 것

참조 의미를 보존하는 결과 중심 영상 생성 평가