마지막 수학 학습: Hugging Face를 위한 히치하이커 가이드

기존 대형 언어 모델의 한계를 극복하기 위해 12GB GPU에서도 구동 가능한 초소형 모델 FANT와 Sparrow의 개발 과정을 설명합니다. 핵심 기술인 SleepGate는 100 학습 단계마다 메모리를 통합하여 5M 파라미터 모델의 수학 정확도를 5.3%p 향상시켰습니다. 또한 수학자 Jerzy Kocik의 이론을 응용한 SpinorApollonian Memory 기법을 도입해 메모리 쓰기를 기하학적으로 라우팅함으로써 데이터 충돌 문제를 해결했습니다. 특히 1M 파라미터 규모의 Sparrow 모델은 특정 수학 과제에서 Gemma 3 27B와 같은 거대 모델을 압도하는 성능을 보여주었습니다. 이러한 성과는 모델의 크기보다 아키텍처 설계와 메모리 관리 방식이 성능에 결정적인 영향을 미칠 수 있음을 시사합니다.