공간-시간적 우도를 통한 생성된 비디오의 학습 없는 탐지

AI 비디오 생성 기술이 급격히 발전함에 따라 가짜 영상을 구별하는 것이 매우 중요해졌습니다. 기존 탐지기는 새로운 생성 모델이 나올 때마다 다시 학습해야 하거나 움직임의 어색함을 놓치는 한계가 있었는데, 이 논문은 실제 영상의 통계적 특성만으로 가짜를 가려내는 효율적인 방법을 제시하여 실시간 가짜 영상 필터링의 가능성을 열었습니다.

기존의 비디오 탐지기는 주로 합성된 영상을 학습 데이터로 사용하는 지도 학습 방식을 취한다. 하지만 생성 모델이 워낙 빠르게 발전하다 보니, 학습하지 않은 새로운 모델이 만든 영상은 제대로 구별하지 못하는 일반화의 한계가 있다. 또한 이미지 기반 탐지기는 각 프레임은 정교할지 몰라도 프레임 사이의 물리적 불일치나 어색한 움직임을 잡아내지 못한다.

STALL은 실제 영상의 특징 벡터(Embedding)가 고차원 공간에서 특정 가우시안 분포를 따른다는 점에 착안한다. 프레임 자체의 특징뿐만 아니라 프레임 간의 차이(Difference) 벡터를 정규화하여 분석하면, 실제 영상은 분포의 중심에 가깝게 위치하지만 가짜 영상은 이 통계적 범위를 벗어나는 '낮은 우도(Likelihood)'를 갖게 된다.

이를 통해 별도의 학습 과정 없이도 실제 영상의 통계치(평균, 공분산)만 미리 계산해두면 어떤 생성 모델이 만든 영상이든 즉시 판별할 수 있다. 실험 결과 Sora나 Veo3 같은 최신 모델에서도 기존 방식보다 훨씬 높은 정확도를 보였으며, 연산 속도 또한 매우 빨라 실시간 스크리닝에 적합하다.

전체적인 접근 방식은 비디오를 프레임 단위로 쪼개어 DINOv3와 같은 시각 인코더를 통해 고차원 임베딩 벡터로 변환하는 것에서 시작한다. 이 벡터들을 공간(Spatial)과 시간(Temporal) 두 가지 경로로 나누어 분석하며, 각 경로는 실제 비디오 데이터셋(Calibration set)에서 추출한 통계적 기준과 비교된다.

공간적 우도는 각 프레임 임베딩 x_t에 화이트닝 변환(Whitening Transform)을 적용하여 계산한다. 입력 벡터에서 평균을 빼고 공분산 행렬의 역행렬 성분을 곱해 [x → W(x-μ) → y] 연산을 수행하며, 결과값 y의 노름(Norm)을 통해 가우시안 로그 우도를 산출한다. 이는 프레임 하나하나가 얼마나 실제 사진처럼 보이는지를 수치화한다.

시간적 우도는 인접한 프레임 간의 차이 벡터 Δ_t = x_{t+1} - x_t를 분석한다. 이 벡터를 크기로 나누어 방향 성분만 남기는 ℓ2 정규화를 거친 후 [Δ_t → Δ_t/||Δ_t|| → z_t] 연산을 수행하면, 복잡한 움직임도 가우시안 분포로 모델링 가능한 형태로 변환된다. 이후 화이트닝을 거쳐 움직임의 자연스러움을 측정한다.

최종 점수는 비디오 내 모든 프레임의 공간 우도 중 최댓값과 모든 전환의 시간 우도 중 최솟값을 결합하여 산출한다. 각 점수는 보정 데이터셋에서의 순위(Percentile)로 변환되어 서로 다른 척도를 맞춘 뒤 평균을 내어 최종 판정 지표로 사용된다.

VideoFeedback, GenVideo, ComGenVid 세 가지 주요 벤치마크에서 기존의 이미지 및 비디오 기반 제로샷 탐지기들을 일관되게 압도했다. 특히 Sora 모델에 대해 AUC 0.81~0.84를 기록하며, 특정 모델에 과적합되지 않고 범용적으로 작동함을 입증했다.

Ablation study를 통해 공간 정보만 사용하거나 시간 정보만 사용할 때보다 두 정보를 결합했을 때 탐지 성능이 가장 높음을 확인했다. 또한 JPEG 압축, 가우시안 노이즈 등 다양한 이미지 변조 환경에서도 성능 저하가 적어 실무적인 강건함을 보였다.

효율성 측면에서 비디오당 추론 시간이 약 0.22초(16프레임 기준)로 매우 빨랐다. 이는 지도 학습 기반 모델인 AIGVdet(5.42초)보다 약 24배 빠른 속도이며, 메모리 사용량 또한 최적화되어 대규모 영상 필터링 시스템에 즉시 도입 가능한 수준이다.

STALL은 고차원 임베딩 공간에서 실제 데이터가 가우시안 분포를 따른다는 'Maxwell-Poincare Lemma'의 이론적 배경을 활용한다. 특히 화이트닝 변환을 통해 상관관계가 있는 특징들을 독립적인 표준 정규 분포 성분으로 분리함으로써, 닫힌 형태(Closed-form)의 로그 우도 계산이 가능하게 설계되었다.

시간적 일관성 모델링을 위해 단순 차이 벡터를 사용하는 대신 ℓ2 정규화된 방향 벡터를 사용한 점이 핵심이다. 원시 차이 벡터는 크기 변화가 심해 가우시안 분포를 따르지 않지만, 단위 구(Unit Sphere) 상으로 투영된 방향 벡터는 고차원에서 가우시안 투영 특성을 완벽히 만족하게 된다.

탐지 성능의 안정성을 위해 백본 네트워크로 DINOv3를 채택했다. 실험 결과 CLIP이나 MobileNet 등 다른 인코더보다 DINOv3의 특징 공간이 실제와 가짜 영상의 통계적 차이를 더 명확하게 구분해내는 것으로 나타났다.

보정(Calibration) 과정에서는 VATEX와 같은 대규모 실제 비디오 데이터셋을 사용하여 평균과 공분산 행렬을 단 한 번만 계산한다. 이 통계치는 고정된 상태로 유지되므로, 추론 시에는 추가적인 학습이나 파라미터 업데이트 없이 행렬 연산만으로 빠르게 결과를 도출한다.

감시 카메라 영상이나 항공 촬영 영상과 같이 보정 데이터셋(Calibration set)의 도메인과 크게 다른 특수한 영상의 경우 탐지 성능이 저하될 수 있다. 또한 비디오의 길이가 너무 짧거나 프레임 레이트가 극도로 낮은 경우 시간적 우도 계산의 신뢰도가 떨어질 수 있다.