FedOT: 연합형 LDM을 위한 워터마크 기반 소유권 검증 및 유출 추적

왜 중요한가

연합 학습으로 Latent Diffusion Models를 공동 학습하면 각 참가자에게 완전한 모델이 배포되어 악의적 유출 위험이 존재한다. FedOT은 이미지에 삽입한 워터마크와 VAE의 잠재 분포 변형을 결합해 유출된 모델의 소유권을 검증하고, 유출 출처(클라이언트)를 추적할 수 있는 실용적 메커니즘을 제공한다.

핵심 기여

Chunked watermark로 소유권 검증과 클라이언트 추적 동시 지원

48-bit 워터마크를 앞부분 r=16비트는 소유권 검증용, 나머지 32비트는 클라이언트 식별용으로 분할해 각 클라이언트에 서로 다른 워터마크를 배포한다. 서버는 우선 prefix 일치 여부로 소유권을 확인한 뒤 필요 시 suffix로 유출 클라이언트를 식별한다.

Latent Vector Transformation(LVT)으로 VAE 교체 공격 방지

서버가 VAE의 잠재 분포를 구조적으로 변형(translation/mirror/negative)해 U-Net이 변형된 분포에 적응하도록 한다. 변형된 VAE를 교체하면 U-Net-잠재공간 불일치로 이미지 품질이 크게 저하되어 워터마크 제거를 사실상 무용화한다.

실험적 검증 — LVT 유형별 트레이드오프 분석

FedOT_rand/tran/mir/neg을 비교해 각 방법의 FID, CLIP-Score, Detection, Bit Accuracy 변화를 제시했다. FedOT_neg가 생성 품질(FID:20.367)과 공격 저항성(FID 증가:+20.170)의 균형에서 최적의 성능을 보였다.

연합 조건·공격 시나리오에서의 견고성 평가

클라이언트 수(5/10/20), non-i.i.d. 분포(Dirichlet α), purification 및 VAE replacement 공격 등 다양한 설정에서 Detection>0.94, Bit Acc>0.91 수준의 안정성을 보고했다.

핵심 아이디어 이해하기

문제의 출발점은 FedLDMs에서 VAE와 U-Net의 역할 분리이다. 일반적인 연합학습 프로토콜에서는 클라이언트가 U-Net만 업데이트하고 VAE는 고정된 상태로 남는다. 이 경우 공격자는 손쉽게 오픈소스 'clean' VAE로 교체해 VAE에 숨겨진 워터마크를 제거할 수 있으며, 그 과정에서 모델의 생성 품질이 거의 손상되지 않아 추적이 불가능해진다.

방법론

전체 접근은 두 축으로 구성된다: (1) 각 클라이언트에 고유한 n-bit 워터마크를 VAE decoder에 삽입하는 chunked watermark, (2) VAE의 잠재 분포를 구조적으로 변형해 U-Net이 변형된 잠재 분포에 의존하도록 만드는 Latent Vector Transformation(LVT). 서버는 먼저 공개 데이터셋(COCO)으로 VAE를 LVT로 훈련하고, 변형된 VAE를 베이스로 K개의 워터마크 복제본을 생성해 각 클라이언트에 배포한다.

주요 결과

메인 벤치마크는 LAION-10K에서 Fine-tuned Stable Diffusion 기반으로 평가되었다. Original SD의 FID는 22.99이다. Stable Signature*를 연합 환경에 적용한 경우(48-bit) clean 상태에서 FID=16.412, Detection=0.994, BitAcc=0.965였으나 VAE replacement 후 Detection=0.000, BitAcc=0.543로 워터마크가 효과적으로 제거되었다. FedOT w/o LVT도 replacement 시 워터마크가 제거되나 이미지 품질은 유지된다. 반면 LVT를 적용한 FedOT 변형들은 replacement 공격 시 이미지 품질이 크게 악화되었다: FedOT_tran(clean FID=22.427) → 공격 후 FID=92.497(+70.070), FedOT_mir(clean FID=21.475) → 공격 후 FID=70.622(+49.147), FedOT_neg(clean FID=20.367) → 공격 후 FID=40.537(+20.170). FedOT_neg는 생성 품질과 저항성의 균형에서 최적 성능을 보였다.

기술 상세

전체 아키텍처는 Stable Diffusion v2.1 기반으로 VAE(encoder E, decoder D)와 U-Net으로 구성된다. 서버는 공개 데이터셋(COCO2017 10k)을 사용해 VAE에 LVT를 적용한 뒤, 수정된 VAE를 기준으로 K개의 워터마크가 삽입된 모델 복제본을 만든다. 연합 학습 단계에서는 각 클라이언트가 로컬 데이터(LAION-10K, 256×256)로 U-Net만 fine-tune하고 서버가 U-Net 파라미터를 FedAvg로 집계한다.

한계점

논문에서 명시한 한계는 LVT 적용 시 발생하는 생성 품질 저하와의 트레이드오프이다. 변형 강도를 높이면 VAE 교체에 대한 저항성은 커지지만 원본 성능(예: FID, CLIP-Score)은 악화될 수 있다. 또한 LVT 학습과 워터마크 삽입을 위한 추가 서버측 계산 비용이 필요하다.

실무 활용

FedOT은 연합학습으로 학습된 LDM의 지적재산권 보호와 유출자 추적을 실무환경에 적용할 수 있는 설계이다. VAE에 워터마크와 LVT를 서버측에서 적용하면 클라이언트에 안전하게 배포된 모델의 유출 시점을 검증하고 유출 출처를 식별할 수 있다.

기업 내부에서 프라이빗 데이터로 연합 학습한 이미지 생성 모델의 배포 후 무단 재배포·재판매 추적
연구기관에서 공동으로 파인튜닝한 생성 모델의 소유권 분쟁 발생 시 원천 검증과 책임 클라이언트 식별
서비스 제공자가 클라이언트별 맞춤 모델을 배포하면서 모델 유출 시점과 출처를 로깅·확인하는 프로세스 통합

코드 공개 여부: 미확인

키워드

latent diffusion models(잠재 확산 모델)federated learning(연합 학습)watermarking(워터마킹)latent vector transformation(잠재 벡터 변환)ownership verification(소유권 검증)leakage tracing(유출 추적)

용어 해설

잠재 확산 모델(Latent Diffusion Models): — 이미지를 고차원 픽셀 공간이 아니라 저차원 잠재 공간에서 노이즈 추가/제거 과정을 수행해 생성 효율을 높인 생성 모델 계열이다. 이 논문에서는 VAE로 이미지-잠재 매핑을 하고 U-Net이 잠재 공간에서 denoising을 수행하는 구조가 핵심이다.
Variational Autoencoder(VAE): — 이미지를 잠재 벡터로 인코딩하고 복원하는 모듈로, 잠재 분포의 평균 μ와 분산 σ를 학습해 재구성 및 샘플링을 담당한다. 본문에서는 VAE decoder에 워터마크를 삽입하고 잠재 분포 변형(LVT)을 적용해 U-Net과의 결합을 강제한다.
U-Net: — LDM의 노이즈 제거(denoising) 네트워크로, 잠재 z를 입력으로 받아 점진적 샘플링 과정에서 노이즈를 제거해 이미지 생성에 기여한다. 연합학습 환경에서는 주로 U-Net 파라미터만 클라이언트가 업데이트한다.
연합 학습(Federated Learning): — 서버-클라이언트 구조에서 데이터는 로컬에 보관한 채 모델 파라미터(또는 그라디언트)만 교환해 공동 학습을 수행하는 방식이다. 본 논문은 연합 환경에서 LDM을 fine-tune할 때 발생하는 소유권 유출 문제를 다룬다.
워터마킹(Watermarking): — 생성된 이미지 또는 모델 파라미터에 식별 정보를 숨겨 소유권 검증 및 추적을 가능하게 하는 기법이다. 이 논문에서는 VAE decoder에 비트열 워터마크를 삽입하고 추출기로 복원해 검증/추적을 수행한다.