합성 데이터를 활용한 소형 언어 모델의 수학 추론 능력 향상 연구

작성자가 직접 연구 결과를 공유했으며, 소형 모델의 효율성 개선에 대해 긍정적인 반응과 함께 지식 증류 효과에 대한 기술적 궁금증이 제기되었다.

• 학습 데이터의 양을 늘리기보다 기존 데이터를 단계별 설명 구조로 재작성하여 품질을 높이는 것이 효율적이다.
• 데이터 정제 시 거대 모델 대신 동일한 크기의 소형 모델을 활용하여 비용을 절감할 수 있다.

Synthetic Data

— 실제 세계의 이벤트에서 직접 수집된 것이 아니라 알고리즘이나 AI 모델을 통해 인위적으로 생성된 데이터이다. 이 연구에서는 기존 수학 데이터를 더 명확하고 단계적인 설명으로 재작성하여 모델의 학습 효율을 높이는 데 사용됐다.

Few-shot Learning

— 모델이 매우 적은 수의 예시(샷)만으로 새로운 작업을 수행하도록 하는 기법이다. 본문에서는 합성 데이터로 학습한 모델이 문맥 내 예시를 활용하는 능력이 베이스라인 대비 2~3배 향상되었음을 확인했다.

Distillation

— 거대 모델(교사)의 지식을 더 작은 모델(학생)로 전달하는 과정이다. 이 토론에서는 성능 향상이 실제 추론 능력의 개선인지, 아니면 단순히 생성 모델의 패턴을 복제한 것인지에 대한 논점으로 언급됐다.