StylisticBias: 소수의 인간 시각 신호가 MLLMs의 사회적 편향 대부분을 주도한다

멀티모달 대형언어모델(MLLMs)의 판단은 외관 신호에 크게 좌우될 수 있다. StylisticBias 벤치마크는 정체성을 고정한 채 한 가지 시각 속성만 변형하는 설정으로 속성 수준의 편향 원인을 분리한다. 이를 통해 어떤 시각 속성이 편향에 가장 큰 기여를 하는지, 모델 간 편향 구조의 차이는 무엇인지 정량적으로 평가할 수 있다. 벤치마크의 공개는 편향 auditing과 지속 가능한 mitigation 연구에 기여한다.

단락 1 – 출발점과 한계: 인간의 첫인상은 얼굴의 morphology뿐 아니라 clothing, grooming 같은 deliberate한 선택으로도 형성된다. 이전 연구는 주로 신원(identity)을 기준으로 집단 간 차이를 비교하는 방식이었고, 특정 시각 속성의 독립 효과를 분리하기 어려웠다. 이 논문은 Identity Anchor를 기준으로 base face를 고정하고 single-attribute perturbation으로 속성 효과를 격리한다. 입력으로는 base face Xb와 속성 변형 Lv를 사용하고, 목표는 특정 시각 속성 변화가 모델 판단에 얼마나 영향을 주는지 Δi(xv)로 측정하는 것이다. 단락의 핵심 수식은 Δi(xv) = φi(xv) − φi(xb)로, xv는 base 얼굴에서 한 속성만 바뀐 이미지이며 φi는 시나리오 i에서 favorable descriptor를 선택할 확률이다.

단계 1: Base Face Generation. 500개의 포토리얼리스틱 베이스 페이스를 Imagen 4로 생성하고, age, gender, ethnicity, body type의 4개 요소를 교차해 90개의 구성으로 분류한다. 남녀 각 비율은 대략 274/226으로 구성되며, 각 베이스 얼굴은 동일한 조명/배경에서 정체성을 유지한다. 단계 2: Face Variation Generation. 각 베이스 얼굴에서 Skin irregularities, Hair color, Hair length, Hairstyle, Makeup, Tattoos, Eyewear, Piercings, Accessories, Clothing style 등 총 12개 영역의 단일 속성만 변형하고, 정체성을 유지한다. Clothing은 전체 신체를 포함하는 풀 바디 포트레이트로 다룬다. 단계 3: Forced-Choice Evaluation. 25개의 시나리오를 기준으로 이미지당 12개의 프롬프트 조합으로 모델의 선호를 이진 선택으로 평가한다(a/b). 단계 4: 모델 및 프롬프트 다양성 보정. M=4 프롬프트 순서와 K=3 시드로 총 12개 프롬프트를 사용하고, 각 이미지당 300개의 평가를 수집한다. 단계 5: 메트릭 산출. i 시나리오에 대해 ϕi(x) = ∑ rj,k / nj(x)로 추정하고 Δi(xv)와 SBS 등 편향 지표를 계산한다. 단계 6: 통계 검정 및 집계. Kruskal–Wallis, Mann–Whitney U, BH 보정 등을 적용하고, Linear Mixed-Effects 모델을 이용해 요인별 분산 기여를 분석한다. 계산의 원리: 입력으로 ϕi(x), Δi(xv) 값을 얻고, 이를 통해 각 속성의 변화가 모델 판단에 얼마나 큰 변화를 주는지 측정한다. 결과적으로 각 속성과 시나리오 간의 상호작용을 정량화하고, 모델 간 편향 구조의 차이를 비교한다.

메인 결과: 6개 MLLMs를 25개 이진 시나리오에서 평가했고, 총 15,726장의 이미지가 판단 대상으로 사용되었다. 각 이미지당 12개의 프롬프트를 사용, 한 모델당 약 4.72×10^6회의 판단 호출이 발생했고, 6모델 전체에 대해 약 28.3×10^6회의 판단이 수행되었다.

아키텍처 수준의 세부 분석은 벤치마크 설계에 의존한다. 1) 전체 파이프라인은 base-face 생성 → single-attribute variation → full-body clothing variation → forced-choice 평가의 순서로 진행된다. 2) ϕi(x)와 Δi(xv) 계산은 이미지-시나리오 쌍마다 12개의 프롬프트를 통해 얻은 이진 응답을 기반으로 추정한다. 3) Variation Strength(VS)은 모델별로 시나리오 카테고리별 편향의 분산을 평균하는 지표이며, SBS는 attribute-induced shift의 평균값으로 정의된다. 4) 시나리오 카테고리(Socioeconomic/Appearance 등)가 편향의 분산에 더 큰 영향을 미친다는 점이 통계적으로 확인된다. 5) 모델 간 차이는 나타나나, appearance에 대한 민감성 구조는 일관되게 관찰된다. 6) Fashion, Facial hair, Makeup & lips, Eyewear 등의 속성이 bias를 주도하는 주요 카테고리로 확인된다. 7) Large models의 편향 크기는 감소하는 경향을 보이지만, 편향의 방향성과 구조는 유지된다. 수식 요약: Δi(xv) = φi(xv) − φi(xb)이며, SBS(xv) = (1/|P|) ∑(xb, si) Δi(xv). 이를 통해 attribute-별 편향의 방향성과 강도를 도출한다. 실험 세부 수치는 논문 원문에 제시된 값 그대로 사용한다: 15개의 속성이 총 변동의 약 80%를 차지한다; Age와 Body type이 가장 큰 VS를 보이며, Ethnicity와 Gender의 효과는 상대적으로 작다. 4개의 프롬프트 순서와 3개의 시드 조합으로 평가를 수행하므로, 각 이미지당 300회의 판단이 확보된다. 논문은 또한 성능 차이가 모델 아키텍처 간 다르더라도 편향 구조의 유사성을 보인다고 보고한다.

본 연구는 실사진이 아닌 합성 이미지에 기반한 벤치마크로, 실제 환경에서의 분포를 완전히 대체하지는 않는다. 또한 평가에 사용된 속성 목록은 제한적이며, 모든 문화권의 다양한 신념과 맥락을 포괄하지 않는다.