Gemma 모델의 성능 비결: 지식 증류를 통한 효율적 학습

Gemma의 성능 비결이 단순한 데이터 증설이 아닌 정교한 지식 증류 기법에 있다는 점에 대해 긍정적인 반응을 보였다.

• 소형 모델을 구축할 때 단순 파인튜닝 대신 상위 모델의 확률 분포를 활용한 지식 증류 기법 도입을 고려해야 한다.

• Gemma는 교사 모델의 확률 분포를 학생 모델에 주입하는 지식 증류 기법을 통해 파라미터 수의 한계를 극복했다.
• 단순 정답(Next Token) 학습보다 교사의 '사고 과정'인 확률 분포를 학습하는 것이 소형 모델의 효율성을 비약적으로 높인다.
• 더 강력한 교사 모델(3.1 Pro 등)을 활용함으로써 동일한 아키텍처 내에서도 학생 모델의 성능을 지속적으로 개선할 수 있다.