FineMath 3
FineMath 3는 수학 관련 웹페이지와 생성된 수학 데이터가 혼재된 데이터셋으로, 해당 버전의 일부 항목은 Llama LLM의 주석 산출을 이용해 생성된 것으로 보고되었다. 데이터셋은 수학 문제와 해설을 포함하는 페이지들을 모아 구성되었고, Olmo 사전학습 데이터의 일부로 사용된 것으로 나타났다. FineMath 3의 생성 과정에서 사용된 소스와 생성 모델의 공개 여부가 개방성 논쟁의 핵심 근거로 부각되었다.