추천 시스템의 공정성에 대한 오프라인 평가 척도 연구

추천 시스템의 공정성을 측정하는 기존 지표들이 수학적 설계 오류로 인해 실제보다 더 공정하게 보이거나 계산이 불가능한 경우가 많음을 밝혀냈습니다. 이를 해결하기 위해 보정된 지표와 새로운 평가 방법론을 제안하여, 개발자들이 AI 모델의 윤리적 성능을 정확하게 측정하고 개선할 수 있는 가이드라인을 제공합니다.

추천 시스템의 공정성은 보통 '아이템이 얼마나 균등하게 노출되는가' 또는 '사용자들이 얼마나 평등한 서비스를 받는가'로 정의된다. 기존에는 이를 측정하기 위해 경제학의 소득 불평등 지표인 Gini Index 등을 그대로 가져와 사용했다. 하지만 추천 시스템은 노출 가능한 슬롯(Top-k)이 한정되어 있고 아이템 수가 방대하다는 구조적 특성이 있어, 모든 아이템이 완벽하게 평등하게 노출되는 것이 수학적으로 불가능한 경우가 많다.

이 논문은 기존 지표들이 이러한 추천 시스템의 제약 조건을 고려하지 않아, 아무리 공정한 추천을 해도 지표상으로는 '불공정'하게 나오거나 반대로 최악의 상황에서도 '공정'하게 오인될 수 있다는 점에 주목한다. 즉, 지표의 눈금 자체가 실제 환경과 맞지 않는 문제를 발견한 것이다.

이를 해결하기 위해 논문은 해당 데이터셋에서 물리적으로 달성 가능한 가장 공정한 상태와 가장 불공정한 상태를 먼저 계산하고, 그 사이에서 현재 모델이 어디에 위치하는지를 비율로 나타내는 정규화 방식을 도입한다. 또한 성능(Relevance)과 공정성(Fairness)이라는 두 마리 토끼를 잡기 위해, 두 지표 사이의 최적 경계선(Pareto Frontier)을 긋고 모델이 이 선에 얼마나 가까운지를 측정함으로써 더 객관적인 평가 기준을 세운다.

본 논문은 아이템 측면과 사용자 측면의 공정성 평가를 위해 다각적인 방법론을 적용한다. 먼저 아이템 공정성에서는 노출 기반 지표들의 수학적 결함을 분석하고, 데이터셋의 크기(m, n)와 추천 컷오프(k)를 입력값으로 하여 이론적 최솟값과 최댓값을 도출한 뒤 이를 기반으로 기존 수식을 보정한다.

정확도와 공정성을 동시에 고려하는 'Relevance-aware' 지표의 경우, Top-k 이외의 아이템 정보를 요구하는 Non-localisation 문제를 해결하기 위해 지표별 랭킹 전략을 수립한다. [사용자-아이템 관련도 레이블 → 랭킹 알고리즘 → 노출 가중치 적용] 과정을 거쳐 지표의 민감도를 높인다.

통합 평가를 위한 DPFR 방법론은 Oracle2Fair 알고리즘을 사용한다. [테스트 데이터셋 → 관련도 최대화 초기화 → 아이템 교체를 통한 공정성 점진적 개선 → 파레토 최적점 집합 생성] 순으로 연산하여 파레토 프런티어를 구축한다. 이후 모델의 실제 점수와 프런티어 상의 참조점 사이의 유클리드 거리를 계산하여 최종 균형 점수를 산출한다.

사용자 공정성을 위한 PUF 지표는 [사용자 쌍의 유사도(sim)와 각 사용자의 성능 점수(S) 입력 → 두 사용자의 성능 차이에 유사도를 곱함 → 모든 쌍에 대해 평균 연산 → 최종 불공정성 점수]의 과정을 거친다. 이는 유사한 사용자일수록 성능 차이가 날 때 더 큰 페널티를 부여하는 구조다.

실험은 Lastfm, MovieLens(ML-1m, 10M, 20M), Amazon-lb 등 다양한 도메인의 데이터셋과 BPR, MultiVAE, NCL 등 최신 추천 모델을 대상으로 수행되었다.

보정된 지표(M_our)는 기존 지표가 컷오프 k 값의 변화에 따라 일관성 없는 점수를 내던 것과 달리, 모든 k 범위에서 이론적 최댓값과 최솟값에 정확히 도달함을 확인했다. 특히 기존 지표들이 0.001 단위의 매우 좁은 범위에 점수가 몰려 모델 간 변별력이 없던 문제를 해결하여 가독성을 크게 개선했다.

DPFR 실험 결과, 기존의 통합 지표들이 실제로는 정확도나 공정성 중 한쪽으로만 치우쳐 평가하고 있음이 드러났다. DPFR은 두 가치의 균형을 가장 잘 잡는 모델을 선택하는 데 있어 기존 방식 대비 최대 58% 더 정확한 결론을 도출했다.

사용자 공정성 실험에서는 그룹 공정성 점수가 높더라도 개별 사용자 단위에서는 심각한 불공정성이 숨겨져 있을 수 있음을 발견했다. PUF 지표는 사용자 유사도 분포의 변화를 민감하게 반영하여, 기존 지표들이 잡아내지 못한 개별 사용자 간의 성능 격차를 효과적으로 측정했다.

논문은 6개의 개별 연구 결과를 통합한 형태로, 추천 시스템 평가의 이론적 기반을 재정립한다. 핵심 아키텍처는 지표의 '실현 가능성(Realisability)'과 '국소성(Localisation)' 원칙에 기반한다. 기존 IR 평가 지표의 Desiderata를 공정성 영역으로 확장하여 수치적 경계(Boundedness)와 민감도(Expressiveness)를 검증하는 프레임워크를 구축했다.

수학적으로는 Gini Index와 Atkinson Index의 하위 그룹 분해 가능성(Subgroup-decomposability)을 활용하여 개별 공정성과 그룹 공정성 사이의 연결 고리를 증명했다. 특히 Atk 지표를 통해 전체 불공정성을 '그룹 간 차이'와 '그룹 내 차이'로 잔차 없이 분해하는 수식을 정립했다.

구현 측면에서는 대규모 데이터셋에서 파레토 프런티어를 효율적으로 생성하기 위해 전체 최적점을 찾는 대신 312개의 대표 지점만을 계산하여 근사하는 방식을 제안했으며, 이는 전체 계산 대비 0.022.4%의 연산량만으로도 0.9 이상의 높은 상관관계를 유지함을 보였다.

아이템 공정성 지표 중 일부(Cause 4)는 최적/최악의 시나리오에 대한 닫힌 형식(Closed-form)의 해가 존재하지 않아 완벽한 보정이 불가능하다는 점을 명시했다. 또한, 아이템 유사도를 판단하기 위해 임베딩과 같은 표현 방식에 의존해야 하는 VoCD 지표의 경우, 표현 방식에 따라 공정성 점수가 달라지는 의존성 문제를 해결하지 못했다.