Microsoft의 MAI-Thinking-1: 데이터 투명성과 학습 파이프라인 분석

MAI-Thinking-1은 350억 개의 활성 파라미터와 약 1조 개의 총 파라미터를 가진 sparse Mixture-of-Experts 모델이다. 학습 데이터는 30조 개의 토큰으로 구성되며, 오픈소스 데이터셋이나 HuggingFace 데이터를 배제하고 자체 수집한 데이터만을 사용했다. 코드 데이터가 전체의 54.6%를 차지하며, 강화학습(RL) 단계에서만 합성 데이터(synthetic data)를 활용했다. 데이터 정제 과정에서 Qwen 모델을 임베딩 및 품질 평가용으로 사용했으며, 데이터 공급업체는 공개하지 않았다.