UniGenDet: 공동 진화형 이미지 생성 및 생성 이미지 탐지를 위한 통합 생성-판별 프레임워크

생성 AI의 발전 속도를 탐지 기술이 따라가지 못하는 '탐지 지연' 문제를 해결하기 위해 생성과 탐지를 하나의 프레임워크로 통합했다. 생성 모델은 탐지기의 피드백을 받아 더 정교한 이미지를 만들고, 탐지기는 생성 모델의 내부 로직을 학습하여 보이지 않는 위조 흔적을 더 정확히 찾아내는 선순환 구조를 구축했다.

기존의 딥페이크 탐지기는 이미 만들어진 가짜 이미지의 픽셀 패턴을 학습하는 사후 대응 방식에 머물러 있었다. 이는 생성 모델이 조금만 바뀌어도 탐지 성능이 급락하는 한계로 이어진다. UniGenDet은 이 문제를 해결하기 위해 '만들 수 없다면 이해한 것이 아니다'라는 철학을 바탕으로 생성과 탐지를 연결한다.

먼저, Transformer의 Self-Attention 구조를 확장한 SMSA를 통해 생성 모델이 이미지를 만들 때 사용하는 임베딩 정보를 탐지기에게 공유한다. 탐지기는 단순히 겉모습만 보는 것이 아니라, 이미지가 어떤 수치적 과정을 거쳐 생성되었는지 '생성 로직'을 함께 참조하여 진짜와 가짜의 경계를 더 명확히 구분한다.

그다음, 고도화된 탐지기의 판단 기준을 다시 생성 모델의 학습 가중치 업데이트에 반영한다. 생성 모델은 탐지기가 잡아내는 미세한 질감 불일치나 조명 오류를 손실 함수(Loss function)로 전달받아, 사람이 보기에도 더 자연스럽고 탐지기조차 구별하기 힘든 고품질 이미지를 생성하도록 진화한다. 결과적으로 두 기능이 서로를 강화하며 기술적 격차를 해소한다.

UniGenDet은 BAGEL을 기반 모델로 사용하며 2단계 학습 패러다임을 채택한다. 1단계는 GDUF(Generation-Detection Unified Fine-tuning)로, SMSA 모듈을 통해 생성 인코더의 특징과 탐지 인코더의 특징을 결합한다.

SMSA 모듈은 [생성 잠재값 z, 탐지 특징 h_det, 텍스트 임베딩 h_text를 입력으로] → [상호 참조하는 Cross-Attention 연산을 수행해] → [통합된 특징 벡터를 얻고] → [이를 통해 탐지 정확도와 생성 조건의 일관성을 동시에 높인다].

2단계는 DIGA(Detector-Informed Generative Alignment) 과정이다. [실제 이미지 x_GT와 생성 모델의 중간 특징 z_G를 입력으로] → [학습된 탐지기 f_D의 마지막 블록 특징과 코사인 유사도를 계산해] → [LDIGA 손실값을 얻고] → [생성 모델이 실제 이미지의 분포를 탐지기의 관점에서 모방하도록 가중치를 정렬한다].

FakeClue 데이터셋 실험 결과, UniGenDet은 98.0%의 정확도와 97.7%의 F1 스코어를 달성하며 기존 최강 모델인 Qwen2-VL-72B 대비 정확도를 40.2% 개선했다. 특히 텍스트 기반 설명 능력(ROUGE-L 56.3)에서도 압도적인 성능을 보였다.

제로샷 일반화 성능을 측정하는 ARForensics 벤치마크에서는 LlamaGen, VAR, RAR 등 최신 생성 모델로 만든 이미지에 대해 평균 98.1%의 정확도를 기록했다. 이는 기존 전문 탐지기인 D3QE(82.1%)를 크게 상회하는 수치이다.

이미지 생성 품질 측면에서도 FID 17.5를 기록하여 기본 모델인 BAGEL(22.9)보다 훨씬 사실적인 이미지를 생성함을 입증했다. 이는 탐지기의 피드백이 생성물의 물리적 일관성을 높이는 데 기여했음을 보여준다.

UniGenDet은 SigLIP2를 이해 인코더로, FLUX VAE를 생성 인코더로 사용하며 Qwen2.5 LLM을 백본으로 공유한다. 아키텍처의 핵심은 SMSA(Symbiotic Multi-modal Self-Attention)로, 레이어마다 생성과 탐지의 특징을 교차 주입하여 상호 의존성을 높였다.

학습 시에는 Flow Matching 목적 함수와 Binary Cross-Entropy 탐지 손실을 결합한 통합 손실 함수를 사용한다. 특히 DIGA 단계에서는 동결된 탐지기를 Authenticity Teacher로 활용하여 생성 모델의 특징 공간을 실제 이미지의 특징 공간으로 강제 정렬(Alignment)시킨다. 이는 GAN의 적대적 학습과 유사해 보이지만, 고차원 특징 공간에서의 직접적인 분포 정렬을 통해 모드 붕괴(Mode collapse)를 방지하고 생성 다양성을 유지한다는 차별점이 있다.

매우 정교하게 스타일링되거나 전문적으로 후처리된 실제 이미지에 대해 가끔 오탐지(False Positive)가 발생할 수 있다. 또한 매우 복잡한 장면 생성 시 여전히 미세한 질감 불일치가 나타날 수 있어, 향후 더 세밀한 공간 추론 능력을 갖춘 멀티모달 파운데이션 모델과의 결합이 필요하다.