VIBE: 사람 음성을 이용한 대형 오디오-언어 모델의 자유응답 생성 편향 정량화

대형 오디오-언어 모델이 음성 특성만으로 사회적 속성 분포를 체계적으로 이동시키면 사용자 맞춤 추천과 서술적 결과가 고정관념을 재생산할 수 있다. 기존의 MCQ나 거부율 측정은 생성물의 자유도를 제한하여 이러한 내재적 연관을 놓칠 가능성이 크다. VIBE는 현실적인 인간 녹음과 개방형 생성 기반 분석으로 모델의 실제 사회적 영향을 더 직접적으로 포착한다.

대형 오디오-언어 모델은 음성 입력의 음향적 단서(성별 음색, 억양, 억양 패턴 등)를 텍스트 생성 과정에서 내부 표현으로 통합하며, 이 표현이 사회적 범주와 연관되면 생성된 텍스트 분포가 집단에 따라 체계적으로 달라질 수 있다. 기존 연구는 음성 인식 정확도나 분류 성능 차이를 중심으로 측정해 왔지만, 생성 모델의 자유응답 출력은 선택지를 강제하지 않을 때 편향이 자연스럽게 드러나는 특성이 있다. 이 문제는 사용자가 사전에 정한 보기 없이 모델이 직접 사회적 속성을 할당하는 실제 애플리케이션에서 특히 중요하다.

VIBE는 음성 입력과 태스크별 프롬프트를 동일하게 유지하되 화자의 성별 또는 억양 그룹만 달리하여 LALM의 자유응답을 수집한다. 수집된 텍스트를 LLM 기반 추출기(Eφ, 본문에서 Qwen3-8B 사용 예시)로 속성 집합 S={a1,a2,...,an}으로 변환하고, 각 속성 값의 그룹별 빈도를 계산하여 P_g(v)를 얻는다. 각 속성에 대해 그룹 평균 분포 0Overline{P}0를 산출한 뒤 그룹별 TVD의 평균을 구하고 이를 1−1/|G|로 나눈 뒤 100을 곱해 nTVD로 표준화한다.

12개 모델과 다섯 개 태스크 평가 결과 모든 모델이 적어도 네 가지 설정에서 통계적으로 유의한 집단 간 분포 차이를 보였으며 몇몇 경우 nTVD가 46에 달해 한 그룹의 값 분포가 다른 그룹과 거의 겹치지 않았다. 태스크별 평균을 보면 Advisory가 가장 편향이 크며(성별 평균 nTVD 약 14), Candidate Review는 가장 낮은 편향을 보였고(성별 평균 nTVD 약 2), 동일 모델이라도 태스크에 따라 공정성 척도가 크게 달라지는 특성이 관찰되었다. 거부율 기반 지표는 편향을 포착하지 못하는 경우가 많았으며 전체 모델·태스크에서 거부율 nTVD는 6.6을 넘지 않아 거부 행동 자체는 집단 간 큰 차이를 만들지 않았다.

평가 파이프라인은 세 단계로 구성된다. 첫째, 동일한 텍스트 콘텐츠를 담은 음성 샘플(성별 또는 억양 그룹만 다름)을 LALM M_{theta}에 입력하여 자유형 텍스트 출력을 얻는다. 둘째, 출력 텍스트를 LLM 기반 추출기 E_{phi}로 구조화된 속성 집합 S로 매핑한다. 셋째, 각 속성에 대해 그룹별 조건부 분포 P_g(v)을 계산하고 그룹 평균 0Overline{P}0와의 평균 절대 차이의 반을 취하여 TVD(a)=1/|G| * sum_g 1/2 sum_v |P_g(v)-0Overline{P}0(v)|를 구한 뒤 nTVD(a)=100 * TVD(a)/(1-1/|G|)로 정규화했다.

높은 nTVD는 집단 간 다름을 직접적으로 나타내지만 낮은 nTVD가 공정성을 보장한다고 단정할 수는 없다; 모델이 화자 신호를 무시하고 상수 응답으로 수렴하면 nTVD는 작아질 수 있다. 속성 추출 단계가 측정 결과에 중요한 영향을 미치며, 개방형 값이 유사하지만 다른 문자열로 파편화되면 nTVD를 부풀릴 위험이 있다; 이를 완화하기 위해 값 빈도 필터 τ를 도입하고 민감도 분석을 수행했다. 연구 범위는 이진 성별과 특정 억양 집단, 읽힌 발화에 한정되어 있어 연령·인종·비이진 성별·자연 대화로 확장하지 않았다는 점에서 결과 해석 범위가 제한된다.