RedVox: 언어별 음성 모델의 안전성과 공정성 격차

음성 입력을 직접 처리하는 모델이 보편화되면서 음성 특유의 취약성이 실제 사용자 경험에 영향을 줄 가능성이 커졌다. 본 논문은 영어 중심 연구에서 드러나지 않는 비영어 및 음성 입력 기반의 안전성·공정성 문제를 실음성 데이터로 드러냈다. 다중 언어·다중 모달 환경에서의 취약성 증폭을 계량적으로 보여주어, 배포 전 다국어 검증의 필요성을 제시했다.

문제 출발점은 대다수 안전성 연구와 모델 문서화가 영어 및 합성 음성에 편중되어 있다는 것이다. 음성 입력은 파라링귀스틱 정보와 환경 소음을 포함하므로 텍스트 기반 안전성 방어가 그대로 적용되기 어렵다. 결과적으로 모델은 입력의 전달 방식이나 배경 소음에 민감하게 반응하여 거부·수정 행동 대신 논쟁적이거나 수용적인 응답을 생성할 가능성이 높아진다.

해결 원리는 실제 사람 목소리로 된 다국어 데이터를 수집하고 동일한 요청을 텍스트·오디오·음성의 세 조건으로 대비 평가하는 것이다. 연구진은 SHADES와 M-ALERT에서 추출한 항목들을 참여자에게 제공해 자연 발화로 녹음하게 하고, 오디오 조건에서는 silence와 두 종류의 noise를 추가해 입력의 비언어적 스트레스 효과를 분리했다. 평가에서는 Relatedness Dimension을 도입해 모델이 입력을 실제로 이해했는지 판정한 후 이해 여부와 안전성 판단을 결합해 'Safe', 'Safe by Accident', 'Controversial', 'Unsafe' 네 등급으로 분류했다.

이 접근은 모달리티별로 동일한 의미적 요청이 어떻게 다른 안전성 프로파일을 유도하는지 계량적으로 드러낸다. 논문 결과는 텍스트에서 비교적 낮은 유해 응답률을 보이나 오디오와 특히 음성 입력에서 유해·논쟁적 응답이 일관되게 증가함을 보여준다. 따라서 음성 처리 능력을 갖춘 모델의 안전성 보증은 텍스트 기반 검증을 단순 확장하는 수준을 넘어 모달별 대응책과 다국어 자원 확보가 필수적임이 확인된다.

데이터 수집은 총 52명의 연구자 참여로 수행되었고 각 참여자는 사전선택된 텍스트 항목을 자연 발화로 녹음하거나 텍스트 형식으로 재구성해 제출했다. 원문 데이터는 SHADES에서 추출한 181개의 고정관념(다국어 병렬) 항목과 M-ALERT에서 무작위 샘플링한 350개의 안전성 항목을 기반으로 구성되었으며 영어는 전체를, 다른 언어들은 참가자 수를 고려해 절반 분량을 사용했다. 오디오 파일은 모든 샘플을 평균 길이 6초로 트리밍했고 Voice Activity Detection을 적용해 음성이 감지되지 않는 32개 사례를 제거했다.

평가는 자동 LLM 판정자를 활용한 LLM-as-a-judge 방식으로 진행되었고 안전성(ternary)과 관련성(yes/no)을 분리해 라벨링한 뒤 이를 조합해 최종 등급을 산출했다. 판정자 모델로는 GPT-5.5를 사용했고 음성 입력에 대해서는 whisper-large-v3-turbo로 전사한 텍스트를 판정자에게 함께 제공했다. 평가의 신뢰성 검증을 위해 수작업 라벨링된 250개 항목으로 검증을 수행했으며 관련성에 대한 Macro F1은 0.94, LLM 판정자는 Qwen3Guard 대비 안전성·공정성 판정에서 우수한 성능을 보였다.

데이터 공개판은 참가자 동의 절차를 거쳐 가드된 게이팅 방식으로 배포할 계획을 세웠고, 공개판 통계의 대표성은 전체 수집본과의 Spearman 상관 ρ=0.98(p<.01)로 보존됨이 확인되었다. 또한 범주형 라벨의 안정성 검정에서 Cramér’s V가 V≤.09로 작아 샘플 축소에도 불구하고 모델 순위 보존성이 유지되었다.

모델 문서화 조사에서 38개 모델 중 안전성 평가를 명시한 모델은 11개에 불과했고 다국어 평가를 보고한 모델 비율은 8%로 낮게 나타났다. 이 관측은 공개 문서의 영어 편중을 계량적으로 드러냈고 RedVox의 필요성을 정당화했다. 모델별 실험에서는 상용·사유 모델이 대체로 낮은 유해 응답률을 보였고 공개 모델들에서 더 높은 취약성이 관찰되었다.

언어별 결과는 영어가 가장 낮은 유해 응답률을 보였으며 영어 전체의 Unsafe 비율은 5.1%인 반면 비영어 평균은 10.0%로 거의 두 배 수준(Δ96%)의 격차가 확인되었다. 모델별로는 GPT-realtime2 등 일부 상용 모델이 낮은 유해 비율을 보였고 Voxtral은 약 21.9%의 완전 유해 응답 비율로 상대적으로 가장 취약한 행태를 보였다. Phi-4-Multimodal은 안전성 정렬 문서를 갖추었음에도 불구하고 일부 조건에서 논쟁적·유해 응답이 최대 44%까지 관찰되어 RedVox의 난이도를 입증했다.

모달리티 비교에서는 동일 요청에 대해 텍스트→오디오→음성 순으로 유해·논쟁적 응답 비율이 증가하는 경향이 일관되게 관찰되었다. 특히 비음성 배경 소음(noise-a, noise-b)이나 침묵(silence)을 텍스트와 페어링한 경우도 텍스트 전용보다 더 높은 유해 응답률을 기록하여 오디오의 존재 자체가 스트레스 요인으로 작용함이 드러났다. 이 결과는 안전성 정합성(alignment)이 모달 간에 쉽게 이전되지 않음을 시사한다.

RedVox의 데이터 구성은 SHADES의 병렬 고정관념 인스턴스 181개와 M-ALERT에서 샘플링한 350개 안전성 인스턴스를 출발점으로 삼아 언어별 병렬성을 유지하도록 편집했다. 참여자들은 주어진 텍스트 항목을 Speech 타입(유해 문장 음성화 + 텍스트 후속질문)과 Audio 타입(텍스트 요청 + 배경음 조건: silence, noise-a, noise-b)으로 변환했으며 각 오디오 세그먼트는 평균 6초로 트리밍되었다.

평가 파이프라인은 두 단계 라벨링(안전성: safe/controversial/unsafe, 관련성: yes/no)을 수행한 뒤 이를 결합해 네 등급으로 결과를 산출한다. 음성 입력은 whisper-large-v3-turbo로 전사하여 판정자에게 제공했고 판정자 모델은 GPT-5.5를 사용하는 few-shot 프롬프트 기반 라벨러였다. LLM-as-a-judge의 신뢰성은 수작업 라벨링과 비교해 Relatedness Macro F1=0.94, 안전성 ternary에서의 성능 우수성으로 검증되었다.

데이터 품질 관리를 위해 Voice Activity Detection을 적용해 무음·녹음 문제를 걸러냈고 전처리 단계에서 공백·구두점 정규화를 수행했다. 공개 배포판은 참가자의 동의 여부에 따라 축소되어 총 26명의 음성, 3414개 항목을 포함하며 전체 수집본과의 통계적 순위 보존성은 Spearman ρ=0.98(p<.01)로 확인되었다. 공개 모델·사유 모델 구분 및 평가 설정은 부록에 수록된 모델별 버전·추론 설정을 따랐다.

RedVox는 영어·프랑스어·이탈리아어·스페인어·독일어의 다섯 인도유럽어를 대상으로 하며 저자들은 이 표본이 저자원이거나 유형언어에 일반화하기 어렵다고 명시했다. 본 연구는 자연적 유해 요청을 대상으로 단일 턴 설정에서 평가했으며 고의적 jailbreaking 기법이나 다중 턴 상호작용에 대한 분석은 포함하지 않았다. 수집과 공개 동의 과정에서 데이터 축소가 발생해 표본 수가 감소했으며 이로 인해 일부 언어·집단에 대한 통계적 검정력이 제한될 수 있다. 또한 음성만으로 전송되는 완전 음성 요청(full speech-only condition)은 포함되지 않아 해당 시나리오의 결과는 본 연구에서 다루어지지 않았다.