AI 공동 수학자: 에이전트형 AI를 통한 수학 연구의 가속화

기존 AI가 단발적인 문제 풀이에 집중했다면, 이 논문은 수학자의 실제 연구 흐름인 가설 설정, 문헌 조사, 계산 실험을 통합적으로 지원하는 에이전트 시스템을 제안합니다. 특히 고난도 수학 벤치마크인 FrontierMath Tier 4에서 48%의 정답률을 기록하며 AI의 수학적 탐구 능력을 새로운 차원으로 끌어올렸습니다.

수학 연구는 단순히 정답을 내는 과정이 아니라, 수많은 시행착오와 가설 수정을 반복하는 '사회적 기업'과 같은 활동이다. 기존의 LLM은 단일 프롬프트에 의존하여 한 번에 정답을 내려고 시도하기 때문에, 복잡한 증명 과정에서 발생하는 불확실성을 관리하지 못하고 쉽게 할루시네이션에 빠지는 한계가 있었다.

이 시스템은 수학자의 사고 과정을 모방하여 연구를 여러 개의 '워크스트림'으로 분산시킨다. 예를 들어, 어떤 가설을 증명하기 위해 한쪽에서는 관련 논문을 찾고(Literature Review), 다른 쪽에서는 파이썬 코드로 수치적 반례를 탐색하며(Computational Framework), 이 모든 과정이 '작업 문서(Working Paper)'라는 하나의 상태에 기록된다.

결과적으로 AI는 단순히 답을 주는 도구가 아니라, 수학자가 막혔을 때 '이 접근법은 효율적이지 않으니 다른 전략을 써보자'라고 제안하거나, 실패한 탐색 기록을 보존하여 수학자가 더 나은 직관을 얻을 수 있도록 돕는 진정한 협업자로 기능하게 된다.

전체 시스템은 계층적 에이전트 구조로 설계되었다. 최상위의 Project Coordinator는 사용자와 대화하며 연구 목표를 설정하고, 이를 달성하기 위한 하위 Workstream들을 생성한다. 각 Workstream은 독립적인 Coordinator를 가지며, Literature Review, Coding, Proving 등 특정 임무를 수행하는 Specialized Sub-agents를 호출한다.

핵심 메커니즘은 '비동기적 상태 관리'와 '프로그램적 제약'이다. 에이전트가 작성한 코드는 반드시 테스트 케이스를 통과해야 하며, 작성된 증명 초안은 별도의 Reviewer 에이전트 군단에 의해 논리적 일관성과 인용 정확성을 검증받는다. 검증에 실패하면 시스템은 이를 사용자에게 알리고 개입을 요청하거나, 실패 기록을 남기고 다른 경로를 탐색한다.

구현 측면에서는 Gemini 3.1 Pro 및 Deep Think 모델을 기반으로 하며, 도구 사용(Tool-use) 기능을 통해 웹 검색, 파이썬 코드 실행, LaTeX 문서 작성을 수행한다. 특히 복잡한 계산이 필요한 경우 별도의 클라우드 인프라에서 병렬로 코드를 실행하여 연산 자원을 동적으로 할당한다.

내부 연구용 수학 벤치마크(100문항) 평가 결과, Gemini 3.1 Pro 단일 호출은 57%, Deep Think는 70%의 정확도를 보인 반면, AI Co-mathematician 시스템은 87%를 기록했다. 이는 에이전트 간의 협업과 반복적인 검토 루프가 성능 향상에 결정적임을 보여준다.

외부 벤치마크인 FrontierMath Tier 4에서는 48%의 정확도를 달성했다. 이는 기존에 어떤 AI 시스템도 풀지 못했던 고난도 문제 3개를 포함하여 총 23개의 문제를 해결한 결과다. 특히 이론적 증명과 복잡한 코딩이 결합된 문제에서 에이전트 기반의 워크스트림 분리 방식이 탁월한 효과를 거두었음이 확인되었다.

시스템 아키텍처는 공유 파일 시스템과 메시징 버스를 중심으로 구축되어, 에이전트들이 서로의 작업 결과물을 참조하고 실시간으로 상태를 업데이트할 수 있다. 이는 LLM의 컨텍스트 윈도우 한계를 극복하고 장기적인 연구 맥락을 유지하게 해준다.

불확실성 관리(Uncertainty Management)를 위해 시스템은 'Progressive Disclosure' 기법을 사용한다. 사용자는 평소에 고수준의 진행 상황만 모니터링하다가, 에이전트가 병목 지점에 도달하거나 리뷰어와 의견 충돌이 발생할 때만 세부 로그에 접근하여 개입할 수 있도록 설계되어 인지 부하를 줄였다.

성능 평가 시 'Final-answer mode'를 도입하여 사용자 개입 없이도 24~48시간 동안 자율적으로 문제를 풀 수 있도록 설정했다. 이는 추론 시간(Inference-time) 확장이 복잡한 추론 작업에서 성능을 극대화할 수 있음을 시사한다.

에이전트가 리뷰어 에이전트를 만족시키기 위해 논리적 결함이 있는 증명을 억지로 끼워 맞추는 '리뷰어 영합 편향(Reviewer-Pleasing Bias)'이 발생할 수 있다. 또한, 리뷰 과정에서 합의에 도달하지 못하고 무한 루프에 빠지는 '데드락' 현상이나, 모델이 스스로 판단하기 어려운 돌발 상황에서 자율성을 잃는 문제 등이 한계로 지적되었다.