QIMMA: 품질 우선 아랍어 LLM 리더보드

섹션별 상세

기존 아랍어 벤치마크의 파편화와 품질 저하 문제가 모델 평가의 신뢰성을 떨어뜨리는 주요 원인이었다. 영어 데이터를 기계 번역하면서 발생하는 어색한 표현이나 문화적 부적합성, 그리고 검증되지 않은 정답 레이블이 평가 결과를 왜곡하고 있었다. QIMMA는 이러한 문제를 해결하기 위해 모든 샘플에 대해 엄격한 품질 검증 파이프라인을 선행 적용했다.

근거

QIMMA는 14개 소스 벤치마크에서 109개 하위 세트를 통합하여 52,000개 이상의 샘플을 구축했다. — What's in QIMMA? 섹션

품질 검증은 LLM을 활용한 자동 평가와 전문가의 수동 검토라는 2단계 프로세스로 진행됐다. Qwen3-235B와 DeepSeek-V3가 10점 척도의 루브릭을 기준으로 각 샘플을 평가했으며, 두 모델 중 하나라도 낮은 점수를 준 샘플은 원어민 검토자가 직접 확인했다. 이 과정을 통해 ArabicMMLU의 3.1%, MizanQA의 12.3%에 달하는 오류 샘플이 식별되어 제거되거나 수정됐다.

QIMMA의 모델 평가 및 품질 검증 루브릭과 프로세스를 설명하는 다이어그램이다. — Diagram질문의 명확성, 정답의 정확성, 문화적 적절성 등 10가지 평가 기준을 보여준다. 두 LLM의 점수가 임계값(7/10) 미만일 경우 수동 검토로 이어지는 파이프라인 구조를 설명한다.

근거

MizanQA 벤치마크의 경우 검증 과정에서 약 12.3%의 샘플이 품질 문제로 폐기되었다. — By the Numbers 표

아랍어 리더보드 최초로 코딩 역량 평가를 통합하여 모델의 다각적인 능력을 측정한다. HumanEval+와 MBPP+의 문제 설명을 아랍어로 정교하게 번역하고 수학적 용어와 제약 조건을 표준화하여 아랍어 사용자의 실제 개발 환경을 반영했다. 평가 결과 코딩 도메인에서는 여전히 대규모 다국어 모델이 아랍어 특화 모델보다 우수한 성능을 보이는 것으로 나타났다.

리더보드 결과에 따르면 모델의 크기가 반드시 성능과 직결되지는 않으며 도메인별 특화 여부가 중요하게 작용했다. Jais-2-70B-Chat과 같은 아랍어 특화 모델은 문화 및 언어 관련 과업에서 강점을 보였으나, 전반적인 평균 점수에서는 Qwen3.5-397B가 1위를 차지했다. 이는 특정 언어에 대한 깊이 있는 이해와 대규모 파라미터를 통한 일반화 능력이 상호 보완적임을 시사한다.

QIMMA 리더보드의 메인 대시보드 화면으로 현재 평가된 모델 수와 벤치마크 현황을 보여준다. — Screenshot69개의 모델이 14개의 벤치마크를 통해 평가되었음을 나타낸다. 상위권에 Qwen3.5, Karnak, Jais-2-70B-Chat이 위치하고 있음을 시각적으로 확인할 수 있다.

평가된 모델들의 크기(Parameter Size) 대비 평균 정확도를 나타낸 산점도 그래프이다. — Chart모델 크기가 커질수록 성능이 향상되는 경향을 보이지만, 특정 크기 구간에서 아랍어 특화 모델(보라색 점)이 일반 다국어 모델보다 높은 효율을 보임을 나타낸다. Qwen3.5-397B가 가장 우측 상단에 위치하여 최대 성능을 기록하고 있다.

근거

Qwen3.5-397B-A17B-FP8 모델이 평균 68.06점으로 리더보드 1위를 기록했다. — Leaderboard Results 표

용어 해설

벤치마크(Benchmark): — AI 모델의 성능을 측정하기 위한 표준화된 테스트 세트입니다. 이 아티클에서는 아랍어 모델의 언어적, 문화적 역량을 평가하기 위한 데이터셋과 평가 지표의 집합을 의미하며, 모델 간의 상대적 성능을 비교하는 기준이 됩니다.
정답 레이블(Gold Answer): — 평가 데이터셋에서 정답으로 간주되는 기준 데이터입니다. 벤치마크의 신뢰성을 결정하는 핵심 요소로, 이 아티클에서는 기존 아랍어 벤치마크의 정답 레이블에 포함된 오류를 수정하여 평가의 정확도를 높이는 과정을 다룹니다.
현대 표준 아랍어(Modern Standard Arabic): — 아랍권 전역에서 공식적으로 사용되는 표준화된 아랍어 형식(MSA)입니다. 구어체 방언과 구분되며, LLM이 공식적인 문서 작성이나 교육적 맥락에서 얼마나 정확하게 소통할 수 있는지 평가하는 주요 기준이 됩니다.
Pass@1: — 코딩 테스트에서 모델이 생성한 첫 번째 코드가 테스트 케이스를 통과할 확률을 나타내는 지표입니다. 모델의 코드 생성 능력을 단 한 번의 시도로 평가하므로 실무적인 프로그래밍 역량을 측정하는 데 중요하게 사용됩니다.

기술

Qwen3.5
DeepSeek-V3
LightEval
EvalPlus
Jais-2-70B-Chat

활용 사례

아랍어 LLM 성능 비교 및 모델 선택
아랍어 벤치마크 데이터 품질 정제
아랍어 코딩 에이전트 성능 평가

언급된 리소스

DemoQIMMA Leaderboard

GitHubQIMMA GitHub

논문Are Arabic Benchmarks Reliable? QIMMA's Quality-First Approach to LLM Evaluation

QIMMA: 품질 우선 아랍어 LLM 리더보드

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

LLM 벤치마크는 과학인가 마케팅인가

LLM-as-a-Judge 서베이

관련 토론

댓글

관련 기사

LLM 벤치마크는 과학인가 마케팅인가

LLM-as-a-Judge 서베이