VeridisQuo: 공간 및 주파수 분석을 결합한 오픈소스 딥페이크 탐지기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

EfficientNet-B4의 시각적 특징과 FFT/DCT 기반 주파수 분석을 결합하여 딥페이크 조작 부위를 히트맵으로 시각화하는 오픈소스 탐지 도구이다.

배경

대학 프로젝트의 일환으로 기존 픽셀 중심 탐지기의 한계를 극복하기 위해 공간 정보와 주파수 도메인 정보를 결합한 딥페이크 탐지 모델을 개발하고 깃허브에 공개했다.

의미 / 영향

이 프로젝트는 딥페이크 탐지에서 멀티모달(공간+주파수) 접근법의 실무적 유효성을 입증했다. 특히 Grad-CAM을 통한 시각화는 블랙박스 형태의 AI 모델에 투명성을 부여하여 탐지 결과에 대한 신뢰도를 확보하는 데 기여한다. 오픈소스 공개를 통해 향후 다양한 데이터셋에서의 검증과 기술적 확장이 기대된다.

커뮤니티 반응

대학 프로젝트 수준임에도 불구하고 체계적인 아키텍처 설계와 시각화 도구 제공에 대해 커뮤니티로부터 긍정적인 평가를 받고 있으며, Celeb-DF나 DFDC와 같은 다른 데이터셋에 대한 교차 검증 제안이 활발히 이루어졌다.

주요 논점

01찬성다수

주파수 도메인 분석을 추가하는 것이 고화질 영상에서 픽셀 수준의 미세한 조작을 잡아내는 데 필수적이다.

합의점 vs 논쟁점

합의점

딥페이크 탐지 모델에서 판단 근거를 시각화하는 것은 모델의 신뢰성 확보를 위해 매우 중요하다.
실제 환경의 딥페이크는 압축 과정을 거치므로 DCT 분석이 실무적으로 유효하다.

실용적 조언

딥페이크 탐지 시스템 구축 시 픽셀 정보뿐만 아니라 FFT/DCT를 통한 주파수 분석 스트림을 병행 설계하는 것이 성능 향상에 유리하다.
모델 학습 시 Grad-CAM을 사용하여 모델이 엉뚱한 배경이 아닌 실제 얼굴 조작 부위에 집중하고 있는지 주기적으로 점검해야 한다.

섹션별 상세

모델 아키텍처는 두 개의 병렬 스트림으로 구성된다. 시각적 특징 추출을 위해 ImageNet으로 사전 학습된 EfficientNet-B4를 사용하며, 주파수 분석을 위해 FFT(고속 푸리에 변환)와 DCT(이산 코사인 변환)를 병행하여 총 2816차원의 특징 벡터를 생성한 뒤 분류를 수행한다.

탐지 결과의 해석력을 높이기 위해 Grad-CAM 기술을 통합했다. EfficientNet 백본에서 계산된 히트맵을 원본 비디오 프레임에 다시 매핑하여 얼굴의 어느 부분이 조작을 유발했는지 시각적으로 보여주며, 실험 과정에서 주로 경계선이나 턱선 근처에서 조작 흔적이 집중적으로 발견됨을 확인했다.

딥페이크로 조작된 영상과 VeridisQuo 모델이 조작 부위를 히트맵으로 표시한 결과 비교 영상이다. — Screenshot왼쪽은 조작된 원본 영상이며, 오른쪽은 모델이 Grad-CAM을 통해 얼굴 부위의 조작 흔적을 파란색 히트맵으로 시각화한 결과이다. 이를 통해 모델이 단순히 진위 여부만 판단하는 것이 아니라 입 주변과 턱선 등 구체적인 조작 위치를 정확히 식별하고 있음을 보여준다.

학습 데이터셋으로 FaceForensics++(C23)를 활용했으며, YOLOv11n을 통해 얼굴을 검출하여 약 71.6만 개의 이미지를 확보했다. RTX 3090 환경에서 7 에포크 동안 학습을 진행했으며, AdamW 옵티마이저와 코사인 어닐링 스케줄러를 적용하여 최적화했다.

실험 결과 주파수 스트림 단독으로는 EfficientNet의 성능을 넘지 못했으나, 두 정보를 융합했을 때 고화질 딥페이크 탐지 성능이 눈에 띄게 향상됐다. 특히 DCT 기능은 실제 환경에서 흔히 발생하는 비디오 압축 관련 아티팩트를 포착하는 데 매우 효과적임이 증명됐다.

실무 Takeaway

공간적 특징과 주파수 도메인 특징을 결합하면 단순 픽셀 분석보다 고화질 딥페이크 탐지 정확도를 유의미하게 높일 수 있다.
Grad-CAM을 활용한 시각화는 모델이 조작된 경계면과 턱선 등 적절한 위치를 학습하고 있는지 검증하고 사용자에게 신뢰를 주는 데 유용하다.
DCT(이산 코사인 변환)는 실제 배포 환경에서 발생하는 비디오 압축 흔적을 감지하는 데 강력한 도구가 된다.

언급된 도구

EfficientNet-B4추천

공간적/시각적 특징 추출을 위한 백본 모델

YOLOv11n추천

데이터 전처리 단계에서의 고속 얼굴 검출

vast.ai중립

GPU 연산 자원 대여 서비스

언급된 리소스

GitHubVeridisQuo GitHub Repository