ReMMD: 현실적 다국어 다중 이미지 에이전트 검증을 위한 멀티모달 허위정보 탐지

현실 세계의 허위정보 게시물은 긴 다국어 텍스트와 여러 이미지를 결합해 부분적 진실과 교차모달 왜곡을 만든다. 단일 캡션·단일 이미지·이진 라벨 중심의 기존 벤치마크는 이러한 검증 압력을 반영하지 못하며, ReMMDBench와 ReMMD-Agent는 원자적 분해와 증거 재사용으로 실제 운영 환경에 더 근접한 평가와 비용 효율적 검증을 제공한다.

문제 출발점과 기존 한계: 멀티모달 허위정보 검증은 텍스트와 다수의 이미지를 동시에 판단해야 하며, 긴 서사에는 배경·반복·부수 정보가 섞여 있어 직접 전체 텍스트에 대해 검색을 수행하면 노이즈가 커지고 중복된 도구 호출이 발생한다. 기존 벤치마크는 단일 이미지·짧은 캡션·이진 라벨 중심으로 구성되어 이러한 현실적 조건을 반영하지 못했다.

해결 원리: 게시물을 검증 가능한 최소 단위(atomic point)로 분해해 각 단위에 맞는 검색 쿼리와 시각적 단서를 생성하고, 검색 결과를 샘플 수준의 지속성 메모리 뱅크에 저장·연결한다. 이때 각 원자 포인트가 제공하는 정보는 명확히 검증 가능한 엔티티·날짜·숫자·이미지-텍스트 바인딩으로 제한돼 검색 대상이 집중된다. 검색 단계는 R_j = TopK_{e ∈ M_s} sim(φ(a_j), φ(e)) 형태로 구현돼, [입력: 원자 포인트 표현 φ(a_j)] → [연산: 메모리 내 엔트리 표현 φ(e)와 유사도 sim(.) 계산] → [결과: TopK 근거 R_j 반환] → [의미: 해당 원자 포인트를 가장 잘 지지하거나 모순하는 기존 증거 집합 확보].

달라지는 점: 원자 분해와 메모리 재사용이 결합되면 동일 샘플 내 엔티티·이미지 간의 증거를 중복 검색하지 않아 도구 호출 비용이 줄고 판정의 추적성이 확보된다. 또한 부분 진실(Mostly True / Mixture)과 같이 중앙 주장에 대한 증거의 '중요도'를 평가해야 하는 라벨에서 성능 향상이 나타난다. 실험에서는 GPT-5.2 백본 기반 ReMMD-Agent가 L1 정확도 41.80%를 기록했고, 메모리·원자 분해 제거 시 성능이 유의하게 하락했다.

전체 접근과 핵심 아이디어: 입력 s = (x, I)에서 x는 텍스트, I={i_m}_{m=1}^M은 이미지 집합이다. 파이프라인은 세 단계로 구성된다: (1) Atomic Representation: 게시물을 원자 포인트 집합 A={a_j=(c_j,q_j,v_j,τ_j)}로 압축, (2) Memory-Augmented Retrieval: 각 a_j에 대해 q_j와 v_j로 웹·이미지·소셜 검색을 수행하고 샘플 수준 메모리 M_s에 증거 e_k를 저장·연결, (3) Structured Evidence Judgment: 각 원자 포인트를 supported/contradicted/unverified로 상태화한 뒤 L1/L2/L3 출력을 생성.

핵심 메커니즘 상세: Atomic Representation은 문장-수준 주장, 이미지 관찰, 이미지-텍스트 바인딩을 생성하고 중복은 병합해 최대 12개 포인트만 유지한다. 이로써 검색 쿼리는 [입력: 원자 포인트의 핵심 엔티티/시각 단서] → [연산: 쿼리 생성(예: OCR 텍스트, 명명 엔티티, 이미지 캡션)] → [결과: 타겟화된 검색 쿼리] → [의미: 검색 대상의 노이즈 감소].

메모리 기반 검색과 재사용: 각 검색 결과는 M_s에 레코드로 저장된다. 검색 과정 수식은 R_j = TopK_{e ∈ M_s} sim(φ(a_j), φ(e))로 표현된다. 구체적 해석: [입력: a_j의 표현 φ(a_j)] → [연산: 저장된 각 e의 표현 φ(e)와 유사도 sim(.) 계산] → [결과: TopK 근거 R_j 반환] → [의미: a_j를 직접 지지하거나 반박할 가능성이 높은 기존 레코드 선택]. M_s는 뉴스, fact-check, 이미지 설명, 소셜 컨텍스트, 타임스탬프와 신뢰성 노트를 포함한다.

구조화된 판정: 판정 단계는 우선 각 a_j에 대해 상태 σ_j ∈ {supported, contradicted, unverified}를 할당한 뒤 중앙 클레임의 중요도를 고려해 L1 라벨(y)을 결정한다. L2 왜곡 벡터(z ∈ {0,1}^8)는 텍스트·시각·교차 모달 별로 별도 판단을 거쳐 할당된다. 시각 보강 분석(auxiliary visual analysis)은 편집·합성·출처 불일치 단서를 소프트 증거로 제공하며 판정 규칙은 하드 룰이 아니라 증거 패턴 기반의 통합이다.

학습·구현 세부: 시스템은 입력 언어로 쿼리를 발행하며 교차언어 샘플은 영어·중국어 브리지 쿼리를 추가로 사용한다. 비-GPT 백본은 H200 GPU에서 로컬 배포됐고, 모든 웹 검색은 Serper API를 사용했다. 에이전트 평가에는 GPT-5.2, Gemma4-31B, Qwen3.6-27B, Qwen3.5-9B, Qwen3.5-4B 백본이 사용됐다.

메인 벤치마크 결과: ReMMDBench(500 샘플)에서 ReMMD-Agent(GPT-5.2)가 L1 정확도 41.80% 및 L1 Macro-F1 39.12%를 기록했다(표 4). 동일 파이프라인에서 Qwen3.5-9B는 L1 정확도 37.20%, L2 Macro-F1 46.97% 등으로 L2 진단에서 경쟁력을 보였다. 일반 목적 assistant들은 일부 L2 지표에서 경쟁적이지만 L1(등급화된 진위)에서는 약세를 나타냈다.

Abalation 결과: Ablation 테이블(표 5)에서 전체 ReMMD-Agent(GPT-5.2) 대비 'No memory bank'는 L1 Macro-F1이 39.12 → 35.84로 감소했고, 'No atomic parsing'은 34.96로 추가 하락했다. 'No visual auxiliary analysis'는 L2 Macro-F1이 45.15 → 40.46으로 감소해 시각 보조 분석이 L2 진단에 중요함을 보여준다.

비용 및 전이: GPT-5.2 기반 비용 감사(표 6)에서 ReMMD-Agent의 전체 비용은 $104.16(샘플당$0.2083)로, MMD-Agent 대비 샘플당 비용을 17.5% 절감했고 T2-Agent 대비 79.9% 절감했다. 동일 Qwen3.5-9B·동일 검색 백엔드 조건에서 MMFakeBench 전이 실험(표 7)에서는 ReMMD-Agent가 Accuracy 0.824, Fake F1 0.871을 기록해 기존 에이전트 대비 전이 성능 우위를 보였다.

세부 에러 분석: 혼동 행렬과 라벨별 분석에서 오차는 인접한 중간 라벨(Mostly True, Mixture, Mostly False)에 집중돼 있으며, 이는 '중심 주장에 대해 반박 증거가 얼마나 핵심적인가'를 정확히 판단하는 calibration 문제임이 확인됐다.

전체 아키텍처 구조: 입력 s=(x,I)를 원자 포인트 집합 A로 분해한 뒤, 각 포인트 a_j=(c_j,q_j,v_j,τ_j)에 대해 검색을 수행하고 샘플 수준 메모리 M_s에 증거 e_k를 저장한다. 판정 모듈은 원자 포인트별 상태 σ_j를 할당하고 이들의 결과와 이미지-텍스트 관계, 출처·타임스탬프·신뢰성 메모를 통합해 L1/L2/L3 구조화 출력(y,z,r)을 생성한다.

핵심 메커니즘의 수학적·알고리즘적 기반: 검색은 R_j = TopK_{e ∈ M_s} sim(φ(a_j), φ(e))로 표현된다. 해석: [입력: a_j의 표현 φ(a_j)] → [연산: 저장된 모든 e의 표현 φ(e)와 유사도 sim(.) 계산(예: 텍스트·멀티모달 임베딩 유사도)] → [결과: 상위 K개의 증거 R_j 선택] → [의미: a_j를 지지하거나 모순할 수 있는 기존 레코드 확보]. 메모리 레코드는 (type, source descriptor, timestamp, reliability note, linked points) 필드를 포함한다.

Prior work 대비 기술적 차별점: 기존 MMD 벤치마크는 단일 이미지·짧은 캡션·이진 라벨 중심으로 구성된 경우가 많다. ReMMDBench는 길이·언어·다중 이미지·다층 라벨(L1 5-way, L2 8-way, L3 rationale)을 결합해 현실적 검증 압력을 재현한다. ReMMD-Agent는 원자 분해와 지속성 메모리로 증거의 재사용과 추적성을 보장해 동일한 검색 예산으로 더 나은 L1 calibration과 L2 진단을 달성한다.

구현·학습 세부사항: 평가에 사용된 백본은 GPT-5.2, Gemma4-31B, Qwen3.6-27B, Qwen3.5-9B, Qwen3.5-4B이며, 비-GPT 모델은 H200 GPU에서 로컬 서비스했다. 모든 웹 검색은 Serper API를 사용했고, 교차언어 샘플은 원문 언어 쿼리와 영어/중국어 브리지 쿼리를 병행했다. 시각적 검색은 캡션·OCR·명명 엔티티·리버스 이미지 설명을 활용했다.

데이터셋 크기: ReMMDBench는 500샘플로 정교한 분석에는 적합하지만 웹 스케일 소셜 미디어 코퍼스보다 작다. 언어 범위: 다섯 개 언어와 두 개 교차언어 방향을 포함하지만 모든 지역 언어나 저자원 언어를 포괄하지는 못한다. 이미지 생성 범위: 일부 생성·편집 이미지는 구성에 사용된 도구 특성을 반영할 수 있어 향후 더 다양한 생성기·편집기 포함이 필요하다. 검색 의존성: ReMMD-Agent의 성능은 외부 검색 엔진의 커버리지·지역 접근성·시점별 증거 가용성에 따라 변동한다. L3 근거의 자동적 충실성 평가는 본 버전에서 정성적 감수에 의존한다.