PluraMath: PolyMath를 18개 저자원 언어로 확장한 다국어 수학 추론 벤치마크

왜 중요한가

대형 언어 모델의 수학적 추론 성능 평가는 모델의 논리적·계산적 능력을 평가하는 핵심 수단인데 기존 벤치마크는 고자원 언어 중심으로 편향되어 있었다. PluraMath는 저자원 언어군을 포함시켜 언어별 성능 격차를 직접 측정할 수 있게 하였으며, 이로 인해 모델 연구와 튜닝이 특정 언어에만 최적화되는 현상을 바로잡기 위한 데이터를 제공한다. 또한 데이터셋과 검증 파이프라인을 공개함으로써 저자원 언어 커뮤니티가 자체적으로 벤치마크를 확장하고 재현 가능한 평가를 수행할 수 있는 기반을 마련했다.

핵심 기여

저자원 언어 18개 추가로 PolyMath 확장

PluraMath는 기존 PolyMath의 고자원 중심 구성을 보완하기 위해 여섯 개 언어 계통에 걸친 18개의 저자원·중간자원 언어를 추가하였다. 추가된 언어들은 자원 가용성이 낮은 환경을 대표하도록 선별되었으며, 데이터셋은 원문 문제의 번역과 현지 검수를 거친 항목으로 구성되었다. 이 확장은 다국어 평가에서 고자원 편향을 정량적으로 측정할 수 있는 토대를 제공한다.

사람 검수 기반의 번역 검증 파이프라인 구축

기계 번역으로 생성한 초안에 대해 네이티브 화자가 수리적 맥락·표현·문제 구조 관점에서 정교하게 검증·수정하는 파이프라인을 도입하였다. 이 과정은 번역 오류로 인한 평가 왜곡을 줄이고 문제의 의도와 계산적 요구를 유지하는 데 초점이 맞춰졌다. 파이프라인은 데이터 품질 보장을 위해 단계별 검증 로그와 수정 내역을 기록하도록 설계되었다.

27개 추론형 LLM을 네 가지 모델 규모로 벤치마크

연구진은 소형, 중형, 대형, 폐쇄형 앙상블을 포함한 네 가지 모델 규모에 걸쳐 총 27개의 reasoning-oriented LLM을 동일 데이터셋으로 평가하였다. 동일 문제집합을 각 언어로 제공하여 모델별 언어 민감도와 규모별 추론 성능 차이를 비교하였다. 비교 실험은 모델의 instruction-following 능력과 언어별 성능 연관성을 확인하도록 설계되었다.

언어별 성능 격차와 instruction-following의 관련성 규명

세밀한 결과 해석에서 고자원 언어와 저자원 언어 간 수학적 추론 성능에 지속적인 차이가 존재하는 것으로 나타났다. 모델들 중 instruction-following 능력이 상대적으로 좋은 그룹이 저자원 언어에서도 비교적 안정적인 성능을 보이는 경향이 확인되었다. 이 관찰은 평가·튜닝 과정에서 프롬프트 설계와 instruction 튜닝의 중요성을 시사한다.

데이터셋·파이프라인·평가 프레임워크 전면 공개

PluraMath의 원문 데이터, 사람 검수 절차, 자동화된 평가 스크립트를 공개 저장소에 배포하여 재현성과 확장성을 확보하였다. 공개된 리소스는 다른 연구자가 추가 언어를 손쉽게 통합하고 동일한 평가 프로토콜로 비교 실험을 수행할 수 있게 설계되었다. 이 공개는 저자원 언어 커뮤니티의 벤치마크 개발 장벽을 낮추는 효과를 목표로 한다.

핵심 아이디어 이해하기

수학적 추론 평가에서 발생하는 주요 문제는 원문 문제의 의미·계산 요구가 번역 과정에서 손상될 때 모델 성능 평가가 왜곡된다는 점이다. 기존 다국어 벤치마크는 주로 고자원 언어로 구성되어 있어 번역 오류·표현 차이·자원 부족으로 인해 저자원 언어에서의 실제 모델 역량을 신뢰성 있게 측정하기 어려웠다. 따라서 번역 검증과 언어 표준화를 통해 평가 입력의 등가성을 확보하는 것이 다국어 수학 추론의 출발점이다.

PluraMath의 해결 원리는 두 축으로 이루어져 있다. 첫째 축은 문제 텍스트의 의미적·수리적 동등성을 보장하기 위해 기계 번역 초안에 네이티브 화자의 정밀 검수를 결합하는 것이다. 이 검수는 문제 조건·기호·단계적 풀이 요구를 원문과 동일하게 유지하도록 수정하며, 그 결과 각 언어판이 동일한 계산적 난이도와 정답 기준을 가지게 된다. 둘째 축은 동일한 문제 집합을 여러 언어로 제공한 뒤 다양한 규모의 LLM을 대상으로 동일한 평가 프로토콜을 적용하여 언어·모델 규모·instruction-following 능력 간 상호작용을 분리하는 것이다.

이 접근은 기존 고자원 편향을 수치적으로 드러내고, instruction-following 능력이 저자원 언어 성능을 완화하는 역할을 한다는 점을 밝힘으로써 향후 모델 개발과 미세조정 전략에 실질적 영향을 준다. 구체적으로는 모델이 지시문을 얼마나 충실히 따르는지에 따라 언어 간 성능 격차가 달라지며, 이는 프롬프트 설계나 instruction-tuning을 통해 일부 개선 여지가 있음을 시사한다.

방법론

데이터 수집은 PolyMath 원문 문제를 출발점으로 삼아 18개 추가 언어로의 번역 초안을 생성하는 단계에서 시작되었다. 번역 초안은 자동 번역 도구로 먼저 생성되었고 이후 네이티브 검수자가 문제의 수리적 요구와 문맥을 기준으로 일대일 대조 검토를 수행하여 필요시 문항을 수정하였다. 검수 과정은 수정 이력과 변경 이유를 기록하여 데이터 품질의 추적 가능성을 확보하였다.

평가 실험은 27개의 reasoning-oriented LLM을 소형, 중형, 대형, 폐쇄형 앙상블의 네 가지 규모로 분류하여 수행하였다. 각 모델은 모든 언어판 문제에 동일한 평가 메트릭과 프로토콜을 적용받았고, 특히 instruction-following을 측정하기 위해 표준화된 프롬프트 템플릿을 사용하였다. 실험 설계는 언어별 성능 차이, 규모별 민감도, 그리고 instruction-following 점수와의 상관 관계를 분리해서 측정할 수 있도록 교차 요인 분석을 포함하였다.

데이터와 평가 인프라는 재현 가능하도록 자동화된 스크립트로 구성되었으며, 문제-응답 정합성 검증과 채점 파이프라인이 포함되었다. 모든 구성 요소는 공개 저장소에 업로드되어 다른 연구자가 동일 절차로 실험을 재현하거나 추가 언어를 통합할 수 있도록 설계되었다.

주요 결과

주요 결과로는 고자원 언어와 저자원 언어 사이에 수학적 추론 성능의 안정적 격차가 존재하는 것으로 확인됐다. 이 격차는 모델 규모에 따라 감소하는 경향이 있지만 완전히 사라지지는 않았으며, 대체로 대형 모델이 저자원 언어에서 더 나은 절대 성능을 보였으나 상대적 언어간 차이는 지속됐다. 또한 동일 모델 내에서 instruction-following 능력이 높은 구성은 저자원 언어에서도 비교적 일관된 성능을 유지하는 경향이 관찰되었다.

Ablation 스타일의 세부 결과에서는 번역 원천의 품질과 사람 검수의 적용 여부가 평가 신뢰도에 큰 영향을 미친 것으로 나타났다. 기계 번역만 사용한 버전은 번역 오류로 인한 오판 사례가 증가했으며, 사람 검수를 거친 항목에서 더 일관된 모델 비교가 가능했다. 이 결과는 다국어 벤치마크 구축 시 번역 검증의 필수성을 실증적으로 뒷받침한다.

기술 상세

데이터셋 구성은 PolyMath 원문 문제를 기반으로 하여 18개 추가 언어에 대해 자동 번역 초안을 생성한 뒤 네이티브 검수자가 의미·수리적 동등성을 확보하도록 수정한 흐름으로 이루어졌다. 검수자는 문제의 조건·기호 표기·단계적 풀이 요구가 원문과 일치하는지 확인하고 필요 시 문항을 재서술하여 계산적 난이도와 채점 기준을 보존하였다. 검수 결과와 수정 로그는 데이터 품질 평가와 후속 연구를 위해 메타데이터로 저장되었다.

평가 프레임워크는 동일 프롬프트 템플릿을 모든 언어판에 적용하여 instruction-following 성능과 정답률을 동시에 측정할 수 있게 설계되었다. 모델 그룹은 소형·중형·대형·폐쇄형 앙상블로 구분되었고, 각 그룹 내에서 동일한 입력에 대한 출력 형식과 채점 스크립트를 공통으로 사용하였다. 실험 과정에서는 언어별 번역 품질과 모델 응답의 일관성을 교차 점검하기 위한 자동화된 정합성 검사도 포함되었다.

결과 해석은 언어, 모델 규모, instruction-following 점수의 상호작용을 분리하기 위해 교차 요인 분석을 적용하여 수행되었다. 이 분석은 각 요인이 성능 변동에 기여하는 상대적 크기를 정량적으로 제시했으며, 특히 instruction-following이 저자원 언어에서의 성능 완화 요인으로서 통계적으로 유의미한 상관을 보였다. 데이터와 평가 스크립트는 공개되어 실험 재현과 추가적인 통계적 검증이 가능하다.

실무 활용

PluraMath는 연구자와 엔지니어가 저자원 언어에서의 수학적 추론 성능을 정량적으로 비교하고 프롬프트·튜닝 전략의 언어별 민감도를 평가하는 데 실용적 도구를 제공한다. 공개된 검수 파이프라인과 평가 스크립트는 새로운 언어를 추가하거나 기존 평가를 재현하는 데 직접적으로 활용할 수 있다. GitHub 저장소를 통해 데이터와 코드를 내려받아 자체 모델의 언어 간 성능을 비교하는 작업에 즉시 적용할 수 있다.

저자원 언어에 대한 LLM의 수학 문제 처리 능력 평가를 통해 모델 출시 전 언어별 성능 리스크를 정량화하는 데 활용할 수 있다.
프롬프트 설계와 instruction-tuning 전략을 언어별로 실험하여 어떤 튜닝이 다국어 성능 개선에 효과적인지 비교하는 연구에 사용될 수 있다.
학계·지역 커뮤니티가 자체적으로 추가 언어를 통합하고 로컬 데이터 품질 기준에 맞춰 벤치마크를 확장하는 데 기여할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Large Language Models(대형 언어 모델)mathematical reasoning(수학적 추론)multilingual benchmark(다국어 벤치마크)underrepresented languages(저자원 언어)PluraMath(PluraMath)

용어 해설

수학적 추론(Mathematical Reasoning): — 수학적 추론은 수학 문제를 읽고 문제의 조건을 기호·식·단계로 변환한 뒤 연역적·계산적 절차를 통해 정답을 도출하는 능력으로, LLM의 출력이 단순 통사적 정답이 아니라 연속적 계산·논증 과정을 포함하는지 평가하는 데 중요하다.
다국어 벤치마크(Multilingual Benchmark): — 다국어 벤치마크는 동일한 평가 과제를 여러 언어로 제공하여 모델의 언어 간 성능 차이를 측정하는 데이터셋·평가 체계로, 번역 품질·문화적 표현 차이·저자원 언어의 자원 부족이 결과에 미치는 영향을 분리해서 해석하는 데 사용된다.
지침(명령) 준수 능력(Instruction-Following): — Instruction-Following은 모델이 주어진 지시문(prompt) 구조와 목적을 정확히 해석하고 출력 형식과 요구사항을 충족하도록 반응하는 능력으로, 수학 문제에서 정답뿐 아니라 풀이 형식·중간 산출물을 요구할 때 성능에 결정적 영향을 미친다.
사람 검수 기반 검증(Human-Curated Validation): — 사람 검수 기반 검증은 자동 번역이나 기계 생성 초안을 네이티브 화자가 문맥·수리적 정확성·표현 적합성 관점에서 검토·수정하는 절차로, 특히 저자원 언어에서 기계 번역 오류로 인한 평가 왜곡을 줄이는 데 핵심적이다.

PluraMath: PolyMath를 18개 저자원 언어로 확장한 다국어 수학 추론 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드