EXIST 2026 멀티모달 밈 성차별 탐지: Gemini Embedding 2 임베딩과 게이트형 MLP로 주석자 분포 예측

왜 중요한가

이 논문은 밈처럼 텍스트와 이미지의 상호작용으로 의미가 생성되는 주관적 콘텐츠에서 주석자 간 불일치를 모델의 학습 목표로 삼아 실제 분포를 예측하도록 설계한 실용적 파이프라인을 제안했다. 다수결로 대표값을 만드는 전통적 접근과 달리 annotator 분포를 직접 예측하면 소수 의견과 불확실성을 보존하여 평가 기준과 모델 출력이 더 잘 정렬된다. 이러한 분포 예측은 콘텐츠 적합성 판단이 사회적·문화적 맥락에 민감한 안전성 시스템에서 유의미한 개선을 가능하게 한다.

핵심 기여

고정 Gemini Embedding 2 임베딩에 경량 Gated MLP 백본을 적용한 멀티모달 표현

논문은 사전학습된 Gemini Embedding 2의 768차원 벡터를 고정된 상태로 사용하고, SwiGLU 기반의 게이트형 MLP 블록을 통해 입력 임베딩을 변환하여 downstream 분류 헤드로 전달했다. 이 접근은 대형 생성 모델을 미세조정하지 않으면서도 멀티모달 의미를 특화할 수 있게 했고 학습 가능한 파라미터를 약 3.5M으로 제한하여 데이터가 적은 상황에서 과적합 위험을 낮췄다. 실제로 이 구조는 Task 2.3에서 리더보드 1위를 기록했다.

주석자 분포를 목표로 하는 KL divergence 기반 소프트-레이블 학습

세 개의 계층적 과제 각각에 대해 annotator의 경험적 분포를 soft target으로 설정하고 KL divergence를 손실로 사용하여 분포 차이를 최소화하도록 학습했다. Task 2.3의 각 카테고리는 독립적인 이진 KL로 처리한 후 평균을 취하여 다중 레이블 특성을 유지했다. 이 설계는 Soft-Soft 평가 지표와 직접 정렬되는 학습 목표를 제공했다.

과제 간 자동 균형을 위한 동분산 불확실도 가중 적용

다중과제 학습에서 고정 가중치의 튜닝 부담을 줄이기 위해 각 과제에 대해 학습 가능한 분산 파라미터 σi를 도입하고 전체 손실을 ∑ ((1/(2σi^2))Li + log σi) 형태로 구성했다. 이 구성은 손실이 큰 과제의 기여를 자동으로 낮추고 학습 초기에 과제들 간 균형을 동적으로 조정하는 self-paced 효과를 냈다. 로그 항은 σi가 무한대로 커지는 것을 억제하여 특정 과제 포기를 방지했다.

핵심 아이디어 이해하기

문제의 출발점은 밈과 같은 멀티모달 콘텐츠에서 의미가 이미지와 텍스트의 상호작용으로 비선형적으로 생성되고, 성차별 판단처럼 주관적 태스크는 주석자 간 높은 불일치를 보인다는 점이다. 다수결로 얻은 단일 레이블은 소수 의견과 불확실성을 지우며, 이러한 정보 소실은 모델의 실제 운영에서 문제를 일으킬 수 있다. 따라서 annotator 분포 자체를 목표로 삼으면 불확실성과 의견 분포를 보존한 상태로 모델 출력을 얻을 수 있다.

해결 원리는 사전학습된 vision-language 임베딩을 고정한 뒤 게이트형 MLP로 task-specific 신호만 학습시키는 것이다. 구체적으로 Gemini Embedding 2의 768차원 벡터를 입력으로 받고 SwiGLU 기반의 가벼운 블록을 쌓아 표현 𝐡를 얻은 다음 세 개의 선형 헤드로 각 과제의 확률 분포 로그릿을 출력한다. 이 구조는 대형 VLM을 미세조정하지 않아 데이터 부족 상황에서도 안정적으로 학습 가능하며, 게이팅 연산은 교차 모달 모순을 증폭하고 무해한 혼선을 억제하는 역할을 한다.

분류와 디코딩 측면에서는 계층적 조건부 확률을 직접 모델링하여 태스크 종속성을 보존했다. 구체적으로 Task 2.1의 성차별 확률 p^(1)을 기반으로 Task 2.2와 Task 2.3의 확률을 p^(1)과 곱하여 joint 분포를 구성함으로써 비성차별 사례에 downstream 레이블이 부여되지 않도록 보장했다. 이 접근은 계층적 제약을 손실 마스킹과 결합하여 아키텍처의 복잡성 증가 없이 위계적 관찰을 확률적 형태로 유지하게 했다.

방법론

전체 접근은 입력으로 주어진 멀티모달 밈을 사전계산된 Gemini Embedding 2 임베딩으로 표현한 뒤, 이 임베딩을 가벼운 게이트형 MLP 백본에 통과시키고 세 개의 독립적 분류 헤드로 soft 분포를 출력하는 파이프라인이다. 백본은 SwiGLU 블록 한 개와 expansion factor 2, dropout 0.2로 구성되어 총 학습 가능한 파라미터가 3.5M 수준으로 경량화되었다. 학습 시에는 KL divergence로 soft target을 직접 최적화하고 downstream 주석이 존재하지 않는 인스턴트에서는 손실을 마스킹하여 조건부 학습을 유지했다.

SwiGLU와 게이팅의 수식은 SwiGLU(x) = (xW1) ⊙ SiLU(xW2)이고 블록 갱신은 h^{(l+1)} = h^{(l)} + W3(SwiGLU(LN(h^{(l)}))). 여기서 x는 입력 임베딩, W1,W2,W3는 학습 가능한 가중치 행렬이고 SiLU는 비선형 활성화이다. 연산 흐름은 입력 x에 대해 두 개의 선형 변환을 계산한 뒤 활성화 함수로 하나를 통과시키고 element-wise 곱으로 게이팅을 수행하며, 최종적으로 잔차 연결을 통해 출력을 얻는다. 이 구조는 특정 차원의 신호를 원소별로 억제 또는 증폭함으로써 교차 모달 모순을 구조적으로 처리한다.

동분산 불확실도 가중의 핵심 수식은 ℒ(W,σ1,σ2,σ3)=∑_{i=1}^3 (1/(2σ_i^2) ℒ_i + log σ_i) 이다. 변수 의미는 ℒ_i가 각 과제 i의 손실(여기서는 KL divergence 또는 cross-entropy), σ_i는 해당 과제의 학습 가능한 분산 파라미터이다. 계산 흐름은 개별 손실 ℒ_i를 σ_i로 나누어 조정한 뒤 로그 항을 더해 전체 손실을 합산하는 방식으로, 예를 들어 ℒ_1=1.0이고 σ_1=1.0이면 해당 항은 0.5*1.0 + 0.0 = 0.5가 된다. 이 방식은 손실이 큰 과제에서 σ_i가 학습을 통해 증가하면 그 과제의 가중치가 자동으로 감소하는 효과를 낳고, 로그 항은 σ_i의 과도한 성장으로 인한 과제 포기를 억제한다.

계층적 디코딩은 Task 2.1 확률 p^(1)을 기반으로 downstream 분포를 구성하는 방식으로 구현되었다. 예컨대 Task 2.2의 joint 분포는 {p^(1)p^(2), p^(1)(1-p^(2)), 1-p^(1)} 형태로 표현되어 세 클래스(JUDGEMENTAL, DIRECT, NO)에 대해 전체 확률을 보장한다. 변수 의미는 p^(1)가 성차별일 확률, p^(2)가 DIRECT에 해당할 조건부 확률이며 계산 흐름은 p^(1)로 하위 확률을 스케일링하여 비성차별일 때 downstream 확률이 0이 되도록 한다. 이 구조는 손실 마스킹과 결합되어 비성차별 사례에서 downstream 업데이트를 방지함으로써 조건부 의존을 수리적으로 유지했다.

주요 결과

데이터 규모는 학습 3,984개와 테스트 1,053개로 구성되어 총 5,037개의 샘플을 포함했다. 로컬 검증에서는 세 가지 제출 런들 간에 시드에 따른 성능 편차가 존재했으며 Run 2가 Task 2.3에서 최고 성능을 보였고 Run 1이 Task 2.2에서 우수한 결과를 냈다. 전체적으로 게이트형 아키텍처와 분류 전략은 soft-label 평가에 더 적합한 양상을 보였다.

공식 Soft-Soft 리더보드에서는 가장 좋은 제출이 Task 2.3에서 1위를 차지했고 Task 2.1과 Task 2.2에서는 4위를 기록했다. 구체적으로 Task 2.3의 상위 제출(aiwizards_2)은 ICM-Soft 값 -2.8881과 ICM-Soft Norm 0.3469를 달성했고 Task 2.1에서는 최고 ICM-Soft Norm 0.5373으로 4위를 기록했다. Hard-Hard 트랙에서는 임계값 튜닝을 수행하지 않은 상태에서 제출했기 때문에 Soft-Soft 대비 순위가 하락했으며 이는 분포 예측과 이산 결정 간의 목표 차이를 반영한다.

추가적으로 EEG 기반의 생리신호 분석에서는 PCA로 21개 주성분을 유지했을 때 Task 2.2만 유의미한 선형 분리가 통계적으로 검출되었으나 효과 크기는 매우 작아 실용적 분별력은 없었다. 이 결과는 제공된 선형 표현과 통계적 검정에서 EEG가 downstream 태스크의 결정적 보강으로 작동하지 않았음을 시사하며, 논문은 비선형 융합 연구를 향후 과제로 남겼다.

기술 상세

전체 아키텍처는 고정된 768차원 Gemini Embedding 2 벡터를 입력으로 받고 SwiGLU 기반의 gated MLP 블록을 통해 공유 표현 h를 산출한 뒤 세 개의 선형 헤드에서 각 과제의 로짓을 출력하는 구조이다. 공유 백본의 출력은 Task 2.1(성차별 여부), Task 2.2(의도 분류), Task 2.3(5개 카테고리의 독립 이진 확률)로 라우팅되고, Task 2.2와 Task 2.3의 손실은 Task 2.1이 성차별로 판정된 인스턴스에서만 역전파되도록 마스크 처리되었다. 전체 학습 가능한 파라미터는 약 3.5M으로 보고되었고 이러한 경량화는 데이터 부족 환경에서 과적합 제어에 기여했다.

수학적 기반은 KL divergence를 소프트 타깃 손실로 사용한 점과 동분산 불확실도 가중의 도입에 있다. KL divergence는 모델 분포 q와 annotator의 경험적 분포 p 간의 정보량 차이를 측정하며, Task 2.3의 다중 레이블 카테고리는 각 카테고리에 대해 이진 KL을 적용하고 평균을 취하는 방식으로 처리되었다. 동분산 가중 수식 ℒ = ∑ (1/(2σ_i^2)ℒ_i + log σ_i)는 각 과제 손실 ℒ_i의 상대적 기여를 σ_i로 조정하는데, σ_i는 학습을 통해 갱신되어 과제 간 학습 속도 차이를 자동으로 보상한다.

훈련 세부사항은 AdamW 옵티마이저에 학습률 1e-4, weight decay 1e-2, 배치 크기 8을 사용했고 OneCycleLR 스케줄러에 30% 워밍업과 코사인 감쇠를 적용했다. 혼합 정밀도로 bf16을 사용했으며 검증 손실 기준 조기 종료를 도입했다. 제출은 서로 다른 랜덤 시드로 학습한 두 기반 모델과 detached soft-gating을 추가한 변형으로 구성되었고 inference에서는 soft-label joint decoding 및 0.5 기준의 hard-threshold 디코딩을 병행했다.

한계점

논문에서 명시한 첫 번째 한계는 Gemini Embedding 2가 사유 모델이라는 점으로, 이는 완전한 재현 가능성을 제약한다. 다만 아키텍처는 모듈식으로 설계되어 공개 임베딩으로 대체할 수 있다는 점이 보완책으로 제시되었다. 두 번째 한계는 hard-label 디코딩에서 임계값 0.5를 고정 사용한 점으로, 이로 인해 Hard-Hard 트랙 성적은 추가적 임계값 튜닝으로 개선될 여지가 남아 있다. 세 번째 한계는 생리신호 분석에서 EEG만 선형적 방법으로 검정했고 시선 및 심박은 사전 제외했기 때문에 비선형 융합 가능성은 검증되지 않았다는 점이다.

실무 활용

제안한 파이프라인은 사전계산된 vision-language 임베딩과 경량 백본으로 구성되어 데이터가 제한된 멀티모달 안전성 태스크에 적용 가능하다. annotator 분포를 직접 예측하는 구조는 플랫폼에서 콘텐츠 표시 정책에 '불확실성'을 반영하거나 소수 의견을 유지하는 의사결정 파이프라인에 바로 연결될 수 있다. 코드와 메타데이터가 공개되어 있어 엔지니어링 관점에서 재현 및 대체 임베딩 적용이 용이하다.

콘텐츠 모더레이션 파이프라인에서 우선순위가 높은 사례를 식별하기 위한 리스크 점수로 소프트 분포를 활용할 수 있다. 이 경우 분포의 분산이 높은 샘플을 검토 대상으로 자동 라우팅하면 사람 검수 비용을 효율화할 수 있다. 또한 분포 예측은 정책적 결정에서 소수 의견을 보존하는 근거 자료로 활용될 수 있다.
연구 환경에서 subjective label 데이터셋의 불확실성 연구에 대한 벤치마크로 사용 가능하다. 학습 가능한 분산 파라미터와 KL 기반 손실을 통해 과제 간 균형 조정 효과를 검증하고 다른 임베딩 백본으로의 대체 실험을 빠르게 수행할 수 있다. 공개 코드 저장소를 통해 동일한 평가 지표로 재현 실험이 가능하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

vision-language representations(비전-언어 표현)conditional soft-label prediction(조건부 소프트 레이블 예측)empirical annotator distributions(주석자 경험적 분포)Gated MLP(게이트형 MLP)KL divergence(KL 발산)homoscedastic uncertainty weighting(동분산 불확실도 가중)

용어 해설

소프트 레이블 예측(Soft-Label Prediction): — 각 샘플에 대해 다수의 주석자가 부여한 분포 전체를 목표로 삼는 학습 목표이며, 단일 다수결 레이블 대신 annotator 분포를 KL divergence 등으로 맞추어 학습하는 방식이 주된 내용이다. 이 접근은 주관적 태스크에서 다수표가 소수 의견을 지우는 문제를 완화하고 모델 출력을 인간 분포와 정렬시키는 것을 목표로 한다. EXIST 논문에서는 Task별 soft target을 KL divergence로 최적화하여 soft-soft 평가에 직접 대응했다.
주석자 불일치 학습(LeWiDi)(Learning with Disagreement): — 다수결이 아닌 주석자 간 이견을 신호로 간주하여 각 샘플의 주석자 분포를 예측하도록 모델을 학습하는 패러다임이다. 이 방식은 주관적 판단에서 소수 의견과 불확실성을 보존하며 모델 평가 또한 분포 예측 성능을 기준으로 한다. EXIST 데이터셋의 Soft-Soft 트랙이 이 패러다임을 채택하여 평가를 수행했다.
게이트형 MLP(Gated MLP): — 입력 표현에 대하여 게이팅 연산을 적용하는 다층 퍼셉트론 구조로, 활성화의 element-wise 곱을 통해 특정 특징을 억제하거나 증폭한다. 논문에서는 가벼운 SwiGLU 블록을 쌓아 입력 임베딩의 유해/무해 신호를 구별하는 데 활용했고, 전체 학습 가능한 파라미터를 3.5M 수준으로 유지했다. 이런 구조는 대형 VLM을 미세조정하지 않고도 멀티모달 의미를 특화할 수 있게 한다.
동분산 불확실도 가중(Homoscedastic Uncertainty Weighting): — 여러 과제를 동시에 학습할 때 각 과제 손실의 상대적 기여를 학습 가능한 분산 파라미터로 조정하는 기법으로, 손실이 높을 때 해당 과제의 분산이 증가하여 학습 기여도가 자동으로 조절된다. 수식적 표현은 각 과제 손실 Li에 대해 (1/(2σi^2))Li + log σi를 합산하는 형태이며, 이 논문에서는 세 과제의 균형 자동화를 위해 적용되었다. 로그 항은 특정 과제를 완전히 무시하는 극단을 방지하는 역할을 한다.

EXIST 2026 멀티모달 밈 성차별 탐지: Gemini Embedding 2 임베딩과 게이트형 MLP로 주석자 분포 예측

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드