합성 데이터를 활용한 소형 언어 모델의 수학 추론 능력 향상 연구

실용적 조언

학습 데이터의 양을 늘리기보다 기존 데이터를 단계별 설명 구조로 재작성하여 품질을 높이는 것이 효율적이다.
데이터 정제 시 거대 모델 대신 동일한 크기의 소형 모델을 활용하여 비용을 절감할 수 있다.

섹션별 상세

합성 데이터를 활용한 학습이 GSM8K와 MATH500 벤치마크에서 베이스라인 모델의 성능을 모두 상회했다. 연구진은 기존 데이터를 더 명시적이고 단계적인(step-by-step) 방식으로 재작성하여 모델이 학습하기 쉬운 형태로 변환했다. 그 결과 퓨샷(Few-shot) 환경에서의 성능 이득이 베이스라인 대비 2~3배 더 크게 나타났으며 이는 모델이 문맥 내 예시를 활용하는 능력이 실질적으로 개선되었음을 시사한다.

데이터 효율성 측면에서 합성 데이터 모델은 베이스라인 모델보다 3~6배 적은 학습 토큰만으로도 동일한 성능 수준에 도달했다. 이는 고품질로 가공된 합성 데이터가 모델의 수렴 속도를 획기적으로 앞당길 수 있음을 보여주는 수치적 근거이다. 특히 이미 정제된(curated) 말뭉치에서도 이러한 추가적인 성능 향상이 관찰되었다는 점이 주목할 만한 성과로 꼽혔다.

데이터를 재작성하는 생성 모델(Generator)이 반드시 학습 대상 모델보다 클 필요가 없다는 사실이 확인됐다. 실험에서는 학습 모델과 동일한 0.8B 크기의 비사고형(non-thinking) 모델을 생성기로 사용했음에도 충분한 성능 향상을 이끌어냈다. 이는 고비용의 거대 모델 없이도 소형 모델 간의 상호작용을 통해 데이터 품질을 개선하고 학습 효율을 높일 수 있다는 실무적 가능성을 제시한다.

용어 해설

합성 데이터(Synthetic Data): — 실제 세계의 이벤트에서 직접 수집된 것이 아니라 알고리즘이나 AI 모델을 통해 인위적으로 생성된 데이터이다. 이 연구에서는 기존 수학 데이터를 더 명확하고 단계적인 설명으로 재작성하여 모델의 학습 효율을 높이는 데 사용됐다.
퓨샷 학습(Few-shot Learning): — 모델이 매우 적은 수의 예시(샷)만으로 새로운 작업을 수행하도록 하는 기법이다. 본문에서는 합성 데이터로 학습한 모델이 문맥 내 예시를 활용하는 능력이 베이스라인 대비 2~3배 향상되었음을 확인했다.
지식 증류(Distillation): — 거대 모델(교사)의 지식을 더 작은 모델(학생)로 전달하는 과정이다. 이 토론에서는 성능 향상이 실제 추론 능력의 개선인지, 아니면 단순히 생성 모델의 패턴을 복제한 것인지에 대한 논점으로 언급됐다.

언급된 도구

GSM8K추천

초등 수학 문제 해결 능력 평가 벤치마크

MATH500추천

고난도 수학 문제 해결 능력 평가 데이터셋

언급된 리소스

논문Enhancing Reasoning in Small Language Models

문서Matteo Saponati X Post