EXIST 2026 멀티모달 밈 성차별 탐지: Gemini Embedding 2 임베딩과 게이트형 MLP로 주석자 분포 예측

이 논문은 밈처럼 텍스트와 이미지의 상호작용으로 의미가 생성되는 주관적 콘텐츠에서 주석자 간 불일치를 모델의 학습 목표로 삼아 실제 분포를 예측하도록 설계한 실용적 파이프라인을 제안했다. 다수결로 대표값을 만드는 전통적 접근과 달리 annotator 분포를 직접 예측하면 소수 의견과 불확실성을 보존하여 평가 기준과 모델 출력이 더 잘 정렬된다. 이러한 분포 예측은 콘텐츠 적합성 판단이 사회적·문화적 맥락에 민감한 안전성 시스템에서 유의미한 개선을 가능하게 한다.

문제의 출발점은 밈과 같은 멀티모달 콘텐츠에서 의미가 이미지와 텍스트의 상호작용으로 비선형적으로 생성되고, 성차별 판단처럼 주관적 태스크는 주석자 간 높은 불일치를 보인다는 점이다. 다수결로 얻은 단일 레이블은 소수 의견과 불확실성을 지우며, 이러한 정보 소실은 모델의 실제 운영에서 문제를 일으킬 수 있다. 따라서 annotator 분포 자체를 목표로 삼으면 불확실성과 의견 분포를 보존한 상태로 모델 출력을 얻을 수 있다.

해결 원리는 사전학습된 vision-language 임베딩을 고정한 뒤 게이트형 MLP로 task-specific 신호만 학습시키는 것이다. 구체적으로 Gemini Embedding 2의 768차원 벡터를 입력으로 받고 SwiGLU 기반의 가벼운 블록을 쌓아 표현 𝐡를 얻은 다음 세 개의 선형 헤드로 각 과제의 확률 분포 로그릿을 출력한다. 이 구조는 대형 VLM을 미세조정하지 않아 데이터 부족 상황에서도 안정적으로 학습 가능하며, 게이팅 연산은 교차 모달 모순을 증폭하고 무해한 혼선을 억제하는 역할을 한다.

분류와 디코딩 측면에서는 계층적 조건부 확률을 직접 모델링하여 태스크 종속성을 보존했다. 구체적으로 Task 2.1의 성차별 확률 p^(1)을 기반으로 Task 2.2와 Task 2.3의 확률을 p^(1)과 곱하여 joint 분포를 구성함으로써 비성차별 사례에 downstream 레이블이 부여되지 않도록 보장했다. 이 접근은 계층적 제약을 손실 마스킹과 결합하여 아키텍처의 복잡성 증가 없이 위계적 관찰을 확률적 형태로 유지하게 했다.

전체 접근은 입력으로 주어진 멀티모달 밈을 사전계산된 Gemini Embedding 2 임베딩으로 표현한 뒤, 이 임베딩을 가벼운 게이트형 MLP 백본에 통과시키고 세 개의 독립적 분류 헤드로 soft 분포를 출력하는 파이프라인이다. 백본은 SwiGLU 블록 한 개와 expansion factor 2, dropout 0.2로 구성되어 총 학습 가능한 파라미터가 3.5M 수준으로 경량화되었다. 학습 시에는 KL divergence로 soft target을 직접 최적화하고 downstream 주석이 존재하지 않는 인스턴트에서는 손실을 마스킹하여 조건부 학습을 유지했다.

SwiGLU와 게이팅의 수식은 SwiGLU(x) = (xW1) ⊙ SiLU(xW2)이고 블록 갱신은 h^{(l+1)} = h^{(l)} + W3(SwiGLU(LN(h^{(l)}))). 여기서 x는 입력 임베딩, W1,W2,W3는 학습 가능한 가중치 행렬이고 SiLU는 비선형 활성화이다. 연산 흐름은 입력 x에 대해 두 개의 선형 변환을 계산한 뒤 활성화 함수로 하나를 통과시키고 element-wise 곱으로 게이팅을 수행하며, 최종적으로 잔차 연결을 통해 출력을 얻는다. 이 구조는 특정 차원의 신호를 원소별로 억제 또는 증폭함으로써 교차 모달 모순을 구조적으로 처리한다.

동분산 불확실도 가중의 핵심 수식은 ℒ(W,σ1,σ2,σ3)=∑_{i=1}^3 (1/(2σ_i^2) ℒ_i + log σ_i) 이다. 변수 의미는 ℒ_i가 각 과제 i의 손실(여기서는 KL divergence 또는 cross-entropy), σ_i는 해당 과제의 학습 가능한 분산 파라미터이다. 계산 흐름은 개별 손실 ℒ_i를 σ_i로 나누어 조정한 뒤 로그 항을 더해 전체 손실을 합산하는 방식으로, 예를 들어 ℒ_1=1.0이고 σ_1=1.0이면 해당 항은 0.5*1.0 + 0.0 = 0.5가 된다. 이 방식은 손실이 큰 과제에서 σ_i가 학습을 통해 증가하면 그 과제의 가중치가 자동으로 감소하는 효과를 낳고, 로그 항은 σ_i의 과도한 성장으로 인한 과제 포기를 억제한다.

계층적 디코딩은 Task 2.1 확률 p^(1)을 기반으로 downstream 분포를 구성하는 방식으로 구현되었다. 예컨대 Task 2.2의 joint 분포는 {p^(1)p^(2), p^(1)(1-p^(2)), 1-p^(1)} 형태로 표현되어 세 클래스(JUDGEMENTAL, DIRECT, NO)에 대해 전체 확률을 보장한다. 변수 의미는 p^(1)가 성차별일 확률, p^(2)가 DIRECT에 해당할 조건부 확률이며 계산 흐름은 p^(1)로 하위 확률을 스케일링하여 비성차별일 때 downstream 확률이 0이 되도록 한다. 이 구조는 손실 마스킹과 결합되어 비성차별 사례에서 downstream 업데이트를 방지함으로써 조건부 의존을 수리적으로 유지했다.

데이터 규모는 학습 3,984개와 테스트 1,053개로 구성되어 총 5,037개의 샘플을 포함했다. 로컬 검증에서는 세 가지 제출 런들 간에 시드에 따른 성능 편차가 존재했으며 Run 2가 Task 2.3에서 최고 성능을 보였고 Run 1이 Task 2.2에서 우수한 결과를 냈다. 전체적으로 게이트형 아키텍처와 분류 전략은 soft-label 평가에 더 적합한 양상을 보였다.

공식 Soft-Soft 리더보드에서는 가장 좋은 제출이 Task 2.3에서 1위를 차지했고 Task 2.1과 Task 2.2에서는 4위를 기록했다. 구체적으로 Task 2.3의 상위 제출(aiwizards_2)은 ICM-Soft 값 -2.8881과 ICM-Soft Norm 0.3469를 달성했고 Task 2.1에서는 최고 ICM-Soft Norm 0.5373으로 4위를 기록했다. Hard-Hard 트랙에서는 임계값 튜닝을 수행하지 않은 상태에서 제출했기 때문에 Soft-Soft 대비 순위가 하락했으며 이는 분포 예측과 이산 결정 간의 목표 차이를 반영한다.

추가적으로 EEG 기반의 생리신호 분석에서는 PCA로 21개 주성분을 유지했을 때 Task 2.2만 유의미한 선형 분리가 통계적으로 검출되었으나 효과 크기는 매우 작아 실용적 분별력은 없었다. 이 결과는 제공된 선형 표현과 통계적 검정에서 EEG가 downstream 태스크의 결정적 보강으로 작동하지 않았음을 시사하며, 논문은 비선형 융합 연구를 향후 과제로 남겼다.

전체 아키텍처는 고정된 768차원 Gemini Embedding 2 벡터를 입력으로 받고 SwiGLU 기반의 gated MLP 블록을 통해 공유 표현 h를 산출한 뒤 세 개의 선형 헤드에서 각 과제의 로짓을 출력하는 구조이다. 공유 백본의 출력은 Task 2.1(성차별 여부), Task 2.2(의도 분류), Task 2.3(5개 카테고리의 독립 이진 확률)로 라우팅되고, Task 2.2와 Task 2.3의 손실은 Task 2.1이 성차별로 판정된 인스턴스에서만 역전파되도록 마스크 처리되었다. 전체 학습 가능한 파라미터는 약 3.5M으로 보고되었고 이러한 경량화는 데이터 부족 환경에서 과적합 제어에 기여했다.

수학적 기반은 KL divergence를 소프트 타깃 손실로 사용한 점과 동분산 불확실도 가중의 도입에 있다. KL divergence는 모델 분포 q와 annotator의 경험적 분포 p 간의 정보량 차이를 측정하며, Task 2.3의 다중 레이블 카테고리는 각 카테고리에 대해 이진 KL을 적용하고 평균을 취하는 방식으로 처리되었다. 동분산 가중 수식 ℒ = ∑ (1/(2σ_i^2)ℒ_i + log σ_i)는 각 과제 손실 ℒ_i의 상대적 기여를 σ_i로 조정하는데, σ_i는 학습을 통해 갱신되어 과제 간 학습 속도 차이를 자동으로 보상한다.

훈련 세부사항은 AdamW 옵티마이저에 학습률 1e-4, weight decay 1e-2, 배치 크기 8을 사용했고 OneCycleLR 스케줄러에 30% 워밍업과 코사인 감쇠를 적용했다. 혼합 정밀도로 bf16을 사용했으며 검증 손실 기준 조기 종료를 도입했다. 제출은 서로 다른 랜덤 시드로 학습한 두 기반 모델과 detached soft-gating을 추가한 변형으로 구성되었고 inference에서는 soft-label joint decoding 및 0.5 기준의 hard-threshold 디코딩을 병행했다.

논문에서 명시한 첫 번째 한계는 Gemini Embedding 2가 사유 모델이라는 점으로, 이는 완전한 재현 가능성을 제약한다. 다만 아키텍처는 모듈식으로 설계되어 공개 임베딩으로 대체할 수 있다는 점이 보완책으로 제시되었다. 두 번째 한계는 hard-label 디코딩에서 임계값 0.5를 고정 사용한 점으로, 이로 인해 Hard-Hard 트랙 성적은 추가적 임계값 튜닝으로 개선될 여지가 남아 있다. 세 번째 한계는 생리신호 분석에서 EEG만 선형적 방법으로 검정했고 시선 및 심박은 사전 제외했기 때문에 비선형 융합 가능성은 검증되지 않았다는 점이다.