PARSA-Bench: 포괄적인 페르시아어 오디오-언어 모델 벤치마크

기존 오디오-언어 모델(LALM) 평가가 영어와 서구권 문화에 치중되어 있던 한계를 극복하기 위해 페르시아어 특유의 언어적, 문화적 특성을 반영한 최초의 벤치마크를 제시한다. 특히 텍스트로는 파악하기 힘든 시의 운율(vazn)이나 전통 음악 체계(Dastgah) 등을 포함하여, 현재 AI 모델들이 오디오 신호에서 문화적 맥락을 얼마나 추출하지 못하는지를 정량적으로 보여준다.

Transformer 아키텍처에서 텍스트는 토큰 임베딩(Embedding)으로 변환되어 처리되지만, 오디오는 연속적인 신호 형태를 띤다. 기존 모델들은 오디오를 텍스트로 먼저 바꾸는 전사 과정을 거치는데, 이 과정에서 페르시아어 시의 리듬감이나 음악의 선법 같은 비언어적 특징이 소실된다. PARSA-Bench는 이러한 정보 손실을 측정하기 위해 오디오 신호에서 직접 특징을 추출하는 능력을 평가한다. 특히 Attention 메커니즘이 오디오의 시간적 리듬(Prosody)에 얼마나 집중하는지를 테스트하여, 텍스트만으로는 알 수 없는 운율 정보를 복원할 수 있는지 확인한다.

PARSA-Bench는 음성 이해, 파라언어 분석, 페르시아 문화 오디오 이해의 세 가지 차원으로 설계되었다. 데이터 구축을 위해 Common Voice, ParsVoice와 같은 고품질 음성 코퍼스뿐만 아니라, Ganjoor 디지털 도서관의 시 낭독 데이터와 페르시아 음악 데이터셋을 활용했다. 평가 지표로는 ASR의 경우 WER을, 번역은 COMET 점수를, 분류 작업은 F1-score와 Accuracy를 사용했다. 오디오 입력 성능(Audio ZS)과 텍스트 전사본 입력 성능(Text-only)이라는 두 수치를 입력으로 하여 [Audio ZS - Text-only] 연산을 수행한다. 이 결과값이 음수이면 모델의 언어 이해 능력은 충분하지만 오디오 신호를 텍스트 정보로 변환하는 과정에서 정보 손실이 발생했다는 의미이며, 이를 '오디오-텍스트 격차(Audio-Text Gap)'라고 정의한다.

전반적인 성능에서 Qwen3-Omni-30B가 오픈소스 모델 중 가장 우수한 성적을 거두었으며, 특히 페르시아어 ASR(WER 0.358)과 대부분의 음성 이해 작업에서 선두를 차지했다. 상용 모델 중에서는 Gemini-2.5-Flash가 번역 및 의도 파악에서 강점을 보였다. 문화적 오디오 이해 작업인 'vazn(운율)' 탐지에서 모든 모델이 무작위 선택 수준(Random Chance)의 성능을 기록했다. 이는 모델들이 텍스트 지식은 풍부할지라도 페르시아 시의 미세한 리듬 패턴을 오디오에서 인지하는 능력은 거의 없음을 나타낸다. 'sabk(시 스타일)' 분류에서는 흥미롭게도 오디오 기반 성능이 텍스트 기반 성능을 앞지르는 경우가 발생했다(Qwen3-Omni-30B 기준 +0.086). 이는 낭독 방식에 포함된 보컬 특징이 텍스트에는 없는 스타일 정보를 담고 있음을 증명하는 유일한 사례로 확인되었다.

PARSA-Bench는 LALM의 오디오 인코더와 LLM 디코더 간의 정렬(Alignment) 품질을 평가하는 데 초점을 맞춘다. 특히 페르시아어와 같이 자원이 부족한(Low-resource) 언어에서 다국어 사전 학습이 실제 오디오 추론으로 어떻게 전이되는지를 분석한다. 벤치마크는 16개 작업 중 10개를 페르시아어 고유의 특성을 반영하여 신규 설계했다. 예를 들어, 'vazn' 탐지는 10개 클래스 분류 문제로 구성되며, 'sabk' 분류는 Ghazal, Masnavi 등 4개 주요 문학 양식을 구분한다. 이는 단순한 언어 이해를 넘어 prosodic perception 능력을 요구하는 고난도 태스크다. 실험 설정에서 Zero-shot, Few-shot, Chain-of-Thought(CoT) 등 다양한 프롬프팅 전략을 적용했다. 분석 결과 CoT는 복잡한 추출 작업(NER, 의도 파악)에는 도움이 되지만, 단순한 구조적 작업(코드 스위칭 탐지 등)에서는 오히려 노이즈를 유발하여 성능을 저하시키는 경향을 보였다. 모델 규모와 성능의 상관관계 분석에서, Qwen 계열은 규모가 커질수록 성능이 일관되게 향상되었으나, Gemma-E4B(4B)가 더 큰 모델인 Qwen2.5-Omni-7B보다 문화적 작업에서 우수한 성능을 보이는 등 데이터 커버리지가 모델 크기보다 중요할 수 있음을 시사했다.

6개 작업이 TTS 합성 오디오를 사용하고 있어 실제 자연스러운 음성의 운율적 가변성을 완벽히 반영하지 못할 수 있다. 또한 인간의 성능 베이스라인이 포함되지 않아 모델 성능의 절대적인 상한선을 비교하기 어렵다.