편향 벤치마크
편향 벤치마크는 모델의 정치성향·인종·성별 등 특정 속성에 대한 편향을 측정하기 위해 설계된 데이터셋과 평가 지표의 모음이다. 입력 문장과 기대 정답 또는 분류 기준을 모델에 제공하고 응답 분포, 분류 결과, 혹은 거부 여부를 집계해 편향 경향을 수치화한다. 본 글에서는 WinoBias, BBQ Race/Ethnicity, Political Compass 등 8개 데이터셋을 사용해 모델별 편향성과 거부 행동을 비교했다.
