Lordx64, Kimi K2.6의 추론 스타일을 학습한 35B MoE 오픈 소스 모델 출시

대체로 긍정적이며, 특히 저렴한 비용으로 고성능 추론 모델을 재현했다는 점과 상세한 학습 지표 공유에 대해 높은 관심을 보이고 있습니다.

• 로컬에서 추론 모델을 실행하려면 IQ4_XS 양자화 버전을 사용하여 32GB RAM 환경을 구축하십시오.
• 추론 증류 학습 시 Teacher 모델의 평균 토큰 길이를 먼저 파악하여 학습 예산을 산정하십시오.

• 상용 모델의 추론 데이터를 활용한 증류 학습을 통해 오픈 소스 모델로도 프런티어급 사고 방식을 구현할 수 있다.
• Kimi K2.6은 Claude 대비 약 3.5배 긴 추론 체인을 생성하므로, 이를 학습시킬 때는 더 많은 컴퓨팅 시간과 비용이 소요된다.
• LoRA와 Unsloth를 활용하면 35B 규모의 MoE 모델도 단일 GPU와 100달러 내외의 저렴한 비용으로 고성능 튜닝이 가능하다.