마스크에서 픽셀과 의미로: VLM 이미지 변조를 위한 새로운 분류 체계, 벤치마크 및 지표

기존 이미지 변조 탐지는 대략적인 물체 영역만 표시하여 실제 수정된 픽셀과 일치하지 않는 문제가 있었습니다. 이 연구는 픽셀 단위의 정밀한 탐지와 변조의 의미론적 이해를 결합한 PIXAR 벤치마크를 통해, 생성형 AI로 정교하게 조작된 이미지를 더 정확하게 식별할 수 있는 새로운 표준을 제시합니다.

단락 1: VLM은 이미지의 시각적 특징을 임베딩 공간으로 투영하고 텍스트 프롬프트와의 어텐션을 통해 특정 영역의 의미를 파악한다. 기존의 변조 탐지는 이 과정에서 물체 전체를 덮는 마스크를 정답으로 사용했는데, 이는 생성형 AI가 마스크 안의 일부 픽셀만 바꾸거나 마스크 밖의 조명까지 변화시키는 실제 변조 특성을 반영하지 못하는 한계가 있었다. 단락 2: PIXAR는 이 문제를 해결하기 위해 원본 이미지와 변조된 이미지 사이의 픽셀 값 차이를 직접 계산하는 차이 맵을 사용한다. 여기에 임계값(tau)을 도입하여 미세한 편집부터 뚜렷한 변화까지 단계적으로 학습할 수 있게 한다. 이는 모델이 단순히 물체가 있는 곳이 아니라 실제로 픽셀이 변한 지점을 찾도록 유도한다. 단락 3: 또한 단순히 변조 여부만 판단하는 것이 아니라 무엇이 어떻게 바뀌었는지를 언어적으로 설명하도록 설계되었다. 이는 VLM의 강력한 시각 이해 능력을 활용하여 픽셀 단위의 정밀도와 고차원적인 의미 이해를 동시에 달성함으로써 탐지의 신뢰성을 높인다.

단락 1: PIXAR 생성 파이프라인은 이미지 생성, 변조 효과 검사, 이미지 충실도 평가, 레이블 생성의 4단계로 구성된다. Qwen-Image와 같은 최신 VLM을 사용하여 8가지 변조 유형을 적용하고 생성된 이미지가 자연스러운지 인간 전문가와 AI가 이중으로 검증한다. 단락 2: 픽셀 레이블 생성 시 기하학적 보정을 수행한다. 생성 모델이 해상도를 바꾸거나 미세하게 위치를 틀 수 있으므로 RANSAC 알고리즘을 이용해 원본과 생성본의 좌표계를 정렬한다. [원본과 생성본의 특징점 입력] → [호모그래피 행렬 추정 및 워핑 연산] → [정렬된 이미지 쌍 획득] → [정확한 픽셀 차이 계산 가능]. 단락 3: 학습 프레임워크는 5가지 손실 함수를 결합한 통합 손실을 최소화한다. [각 작업의 예측값과 정답 입력] → [가중치 합산 연산] → [최종 스칼라 손실값 출력] → [역전파를 통한 전체 네트워크 최적화]. 특히 DICE Loss를 통해 예측 마스크와 실제 변조 영역의 중첩도를 최적화한다.

단락 1: PIXAR-13B 모델은 기존 SOTA 모델인 SIDA-13B 대비 픽셀 위치 추적 성능(IoU)에서 10.8%에서 19.3%로 약 2배 가까운 성능 향상을 보였다. 의미론적 분류 정확도(Top-1 Acc)에서도 30.8%에서 37.4%로 크게 개선되었다. 단락 2: 임계값 tau에 대한 절제 연구 결과 tau=0.05일 때 미세한 변조 흔적과 의미론적 단서를 가장 균형 있게 포착하는 것으로 나타났다. tau가 너무 높으면 정밀한 픽셀 정보가 손실되어 성능이 저하됨을 확인했다.

단락 1: 아키텍처는 LISA와 SIDA를 기반으로 하며 LoRA를 사용하여 효율적으로 파인튜닝된 VLM 백본을 사용한다. 픽셀 위치 추적을 위한 SEG Head, 의미 분류를 위한 OBJ Head, 전체 탐지를 위한 CLS Head, 그리고 텍스트 생성을 위한 디코더 구조를 포함한다. 단락 2: 픽셀 수준의 정밀도를 위해 DICE Loss와 BCE Loss를 병행 사용한다. DICE Loss는 예측된 마스크와 실제 변조 영역 사이의 중첩도를 직접 최적화하여 경계선을 더 날카롭게 잡는다. [예측 픽셀 집합과 실제 픽셀 집합 입력] → [교집합/합집합 비율 계산] → [1에서 뺀 손실값 출력] → [공간적 일치도 극대화]. 단락 3: 데이터셋 구축 시 공간적 집중도 체크를 도입하여 배경에 흩뿌려진 노이즈 형태의 변조 레이블을 제거하고 물체 형태를 가진 유의미한 레이블만 남겼다. 이를 위해 그리드 기반 밀도 점수를 계산하여 일정 수준 이상의 응집성을 가진 샘플만 선택했다.

미세 편집이나 마스크 외부의 미세한 변화에 대해서는 여전히 기존 탐지기들이 실패하는 경우가 많으며 PIXAR 모델도 완벽하지 않음이 확인됨.