PluraMath: PolyMath를 18개 저자원 언어로 확장한 다국어 수학 추론 벤치마크

대형 언어 모델의 수학적 추론 성능 평가는 모델의 논리적·계산적 능력을 평가하는 핵심 수단인데 기존 벤치마크는 고자원 언어 중심으로 편향되어 있었다. PluraMath는 저자원 언어군을 포함시켜 언어별 성능 격차를 직접 측정할 수 있게 하였으며, 이로 인해 모델 연구와 튜닝이 특정 언어에만 최적화되는 현상을 바로잡기 위한 데이터를 제공한다. 또한 데이터셋과 검증 파이프라인을 공개함으로써 저자원 언어 커뮤니티가 자체적으로 벤치마크를 확장하고 재현 가능한 평가를 수행할 수 있는 기반을 마련했다.

수학적 추론 평가에서 발생하는 주요 문제는 원문 문제의 의미·계산 요구가 번역 과정에서 손상될 때 모델 성능 평가가 왜곡된다는 점이다. 기존 다국어 벤치마크는 주로 고자원 언어로 구성되어 있어 번역 오류·표현 차이·자원 부족으로 인해 저자원 언어에서의 실제 모델 역량을 신뢰성 있게 측정하기 어려웠다. 따라서 번역 검증과 언어 표준화를 통해 평가 입력의 등가성을 확보하는 것이 다국어 수학 추론의 출발점이다.

PluraMath의 해결 원리는 두 축으로 이루어져 있다. 첫째 축은 문제 텍스트의 의미적·수리적 동등성을 보장하기 위해 기계 번역 초안에 네이티브 화자의 정밀 검수를 결합하는 것이다. 이 검수는 문제 조건·기호·단계적 풀이 요구를 원문과 동일하게 유지하도록 수정하며, 그 결과 각 언어판이 동일한 계산적 난이도와 정답 기준을 가지게 된다. 둘째 축은 동일한 문제 집합을 여러 언어로 제공한 뒤 다양한 규모의 LLM을 대상으로 동일한 평가 프로토콜을 적용하여 언어·모델 규모·instruction-following 능력 간 상호작용을 분리하는 것이다.

이 접근은 기존 고자원 편향을 수치적으로 드러내고, instruction-following 능력이 저자원 언어 성능을 완화하는 역할을 한다는 점을 밝힘으로써 향후 모델 개발과 미세조정 전략에 실질적 영향을 준다. 구체적으로는 모델이 지시문을 얼마나 충실히 따르는지에 따라 언어 간 성능 격차가 달라지며, 이는 프롬프트 설계나 instruction-tuning을 통해 일부 개선 여지가 있음을 시사한다.

데이터 수집은 PolyMath 원문 문제를 출발점으로 삼아 18개 추가 언어로의 번역 초안을 생성하는 단계에서 시작되었다. 번역 초안은 자동 번역 도구로 먼저 생성되었고 이후 네이티브 검수자가 문제의 수리적 요구와 문맥을 기준으로 일대일 대조 검토를 수행하여 필요시 문항을 수정하였다. 검수 과정은 수정 이력과 변경 이유를 기록하여 데이터 품질의 추적 가능성을 확보하였다.

평가 실험은 27개의 reasoning-oriented LLM을 소형, 중형, 대형, 폐쇄형 앙상블의 네 가지 규모로 분류하여 수행하였다. 각 모델은 모든 언어판 문제에 동일한 평가 메트릭과 프로토콜을 적용받았고, 특히 instruction-following을 측정하기 위해 표준화된 프롬프트 템플릿을 사용하였다. 실험 설계는 언어별 성능 차이, 규모별 민감도, 그리고 instruction-following 점수와의 상관 관계를 분리해서 측정할 수 있도록 교차 요인 분석을 포함하였다.

데이터와 평가 인프라는 재현 가능하도록 자동화된 스크립트로 구성되었으며, 문제-응답 정합성 검증과 채점 파이프라인이 포함되었다. 모든 구성 요소는 공개 저장소에 업로드되어 다른 연구자가 동일 절차로 실험을 재현하거나 추가 언어를 통합할 수 있도록 설계되었다.

주요 결과로는 고자원 언어와 저자원 언어 사이에 수학적 추론 성능의 안정적 격차가 존재하는 것으로 확인됐다. 이 격차는 모델 규모에 따라 감소하는 경향이 있지만 완전히 사라지지는 않았으며, 대체로 대형 모델이 저자원 언어에서 더 나은 절대 성능을 보였으나 상대적 언어간 차이는 지속됐다. 또한 동일 모델 내에서 instruction-following 능력이 높은 구성은 저자원 언어에서도 비교적 일관된 성능을 유지하는 경향이 관찰되었다.

Ablation 스타일의 세부 결과에서는 번역 원천의 품질과 사람 검수의 적용 여부가 평가 신뢰도에 큰 영향을 미친 것으로 나타났다. 기계 번역만 사용한 버전은 번역 오류로 인한 오판 사례가 증가했으며, 사람 검수를 거친 항목에서 더 일관된 모델 비교가 가능했다. 이 결과는 다국어 벤치마크 구축 시 번역 검증의 필수성을 실증적으로 뒷받침한다.

데이터셋 구성은 PolyMath 원문 문제를 기반으로 하여 18개 추가 언어에 대해 자동 번역 초안을 생성한 뒤 네이티브 검수자가 의미·수리적 동등성을 확보하도록 수정한 흐름으로 이루어졌다. 검수자는 문제의 조건·기호 표기·단계적 풀이 요구가 원문과 일치하는지 확인하고 필요 시 문항을 재서술하여 계산적 난이도와 채점 기준을 보존하였다. 검수 결과와 수정 로그는 데이터 품질 평가와 후속 연구를 위해 메타데이터로 저장되었다.

평가 프레임워크는 동일 프롬프트 템플릿을 모든 언어판에 적용하여 instruction-following 성능과 정답률을 동시에 측정할 수 있게 설계되었다. 모델 그룹은 소형·중형·대형·폐쇄형 앙상블로 구분되었고, 각 그룹 내에서 동일한 입력에 대한 출력 형식과 채점 스크립트를 공통으로 사용하였다. 실험 과정에서는 언어별 번역 품질과 모델 응답의 일관성을 교차 점검하기 위한 자동화된 정합성 검사도 포함되었다.

결과 해석은 언어, 모델 규모, instruction-following 점수의 상호작용을 분리하기 위해 교차 요인 분석을 적용하여 수행되었다. 이 분석은 각 요인이 성능 변동에 기여하는 상대적 크기를 정량적으로 제시했으며, 특히 instruction-following이 저자원 언어에서의 성능 완화 요인으로서 통계적으로 유의미한 상관을 보였다. 데이터와 평가 스크립트는 공개되어 실험 재현과 추가적인 통계적 검증이 가능하다.