MATHNET: 수학적 추론 및 검색을 위한 글로벌 멀티모달 벤치마크

기존 수학 데이터셋은 특정 국가에 편중되거나 규모가 작아 AI의 진정한 수학적 범용성을 평가하기 어려웠다. MATHNET은 47개국 17개 언어의 올림피아드 문제를 통합하여 AI가 복잡한 수식 구조와 다국어 맥락을 동시에 이해하는지 측정하는 강력한 도구를 제공한다.

수학 문제는 동일한 논리 구조를 가졌더라도 변수 이름(x vs a)이나 표현 방식(지수 vs 로그)에 따라 겉모습이 완전히 달라질 수 있다. 기존의 임베딩 모델은 텍스트의 표면적인 유사도에 의존하기 때문에, 'x+y=1'과 'x²+y²=1'처럼 글자는 비슷하지만 수학적으로는 전혀 다른 문제를 구분하지 못하는 한계가 있다.

이 논문은 AI가 수학의 '표면'이 아닌 '심층 구조'를 이해하도록 강제한다. 이를 위해 하나의 문제를 변수 치환이나 대수적 변형을 통해 수학적으로는 같지만 겉모습은 다른 '양성 샘플'과, 겉모습은 비슷하지만 수식을 살짝 바꿔 논리를 틀어버린 '음성 샘플'을 쌍으로 구성했다.

결과적으로 모델은 단순한 단어 매칭이 아니라 수식의 불변량과 변환 원리를 파악해야만 정답을 찾을 수 있다. 이는 딥러닝 모델이 고차원적인 추론을 수행할 때 필요한 '유추적 사고' 능력을 정밀하게 측정하는 척도가 된다.

MATHNET은 세 가지 핵심 데이터셋으로 구성된다. 첫째, MathNet-Solve는 3만 개 이상의 문제와 LaTeX 기반 해설, 메타데이터를 포함한 메인 코퍼스이다. 둘째, MathNet-Retrieve는 1만 개의 앵커 문제마다 1개의 동등한 양성 샘플과 3개의 까다로운 음성 샘플을 매칭하여 총 4만 개의 데이터로 구성했다. 셋째, MathNet-RAG는 전문가가 엄선한 70개의 구조적 유사 문제 쌍을 통해 RAG의 실질적 효과를 측정한다.

데이터 추출을 위해 dots-ocr 프레임워크와 LLM 기반의 3단계 파이프라인을 설계했다. [PDF 문서 입력 → Gemini-2.5-Flash를 통한 세그먼트 식별 → GPT-4.1을 이용한 LaTeX 포맷 추출 → 규칙 기반 및 인간 검수를 통한 검증] 과정을 거쳐 데이터의 무결성을 확보했다. 특히 수학적 유사성을 Invariance(변환 불변성), Resonance(부분적 아이디어 공유), Affinity(주제적 연관성)의 세 단계로 정의하여 체계적인 평가 기준을 마련했다.

실험 결과, 최신 추론 모델인 Gemini-3.1-Pro가 78.4%, GPT-5가 69.3%의 정확도를 기록하며 강력한 성능을 보였으나 여전히 올림피아드 수준의 난제를 완벽히 해결하지는 못했다. 특히 기하학(Geometry)과 이산수학(Discrete Math) 영역에서 모델들의 성능 저하가 뚜렷하게 나타났다.

검색 성능 평가에서는 기존 임베딩 모델들의 한계가 명확히 드러났다. Recall@1 점수가 대부분 5% 미만에 머물렀는데, 이는 모델들이 수학적 동등성보다 표면적인 텍스트 겹침에 더 높은 유사도 점수를 부여하기 때문이다. RAG 실험에서는 DeepSeek-V3.2-Speciale가 전문가 수준의 검색 결과를 활용했을 때 최대 12%의 성능 향상을 보이며 검색 품질이 수학적 추론에 결정적인 영향을 미침을 확인했다.

MATHNET 아키텍처는 수학적 유사성을 계층화하여 평가하도록 설계되었다. Invariance 모드는 구문적 재명명(Syntactic Renaming)이나 대수적 재구성(Algebraic Reformulation) 하에서도 동일한 해를 갖는지를 측정한다. Resonance 모드는 동일한 보조 정리(Lemma)나 증명 전략을 공유하는 문제를 식별하는 능력을 평가하며, 이는 단순한 의미론적 유사성을 넘어선다.

구현 측면에서 MathNet-Retrieve는 GPT-5를 활용하여 앵커 문제의 논리 구조는 유지하되 표면 제약 조건을 변경하는 방식으로 하드 네거티브(Hard Negatives)를 생성했다. 예를 들어 f(x)+f(y)=f(x+y)를 g(a)-g(a+b)=-g(b)로 변형하여 모델이 기호의 변화를 뚫고 본질적인 함수 방정식을 찾아내는지 테스트한다. 이러한 구조적 정렬 데이터는 향후 수학 특화 임베딩 모델의 대조 학습(Contrastive Learning)에 중요한 자원이 된다.

논문은 현재의 임베딩 모델들이 수학적 구조를 포착하는 데 근본적인 한계가 있음을 명시하며, 특히 시각적 정보가 포함된 멀티모달 수학 문제의 경우 텍스트 전용 문제보다 성능이 낮게 나타나는 경향이 있음을 지적했다.