Lordx64, Kimi K2.6의 추론 스타일을 학습한 35B MoE 오픈 소스 모델 출시

대체로 긍정적이며, 특히 저렴한 비용으로 고성능 추론 모델을 재현했다는 점과 상세한 학습 지표 공유에 대해 높은 관심을 보이고 있습니다.

• 로컬에서 추론 모델을 실행하려면 IQ4_XS 양자화 버전을 사용하여 32GB RAM 환경을 구축하십시오.
• 추론 증류 학습 시 Teacher 모델의 평균 토큰 길이를 먼저 파악하여 학습 예산을 산정하십시오.

Reasoning Distillation

— 대형 모델(Teacher)의 복잡한 사고 과정이나 Chain-of-Thought 데이터를 소형 모델(Student)이 학습하도록 하여, 소형 모델의 추론 능력을 비약적으로 향상시키는 기법이다. 이를 통해 고비용의 상용 API 모델 없이도 로컬 환경에서 정교한 논리적 추론을 수행할 수 있게 한다.

MoE

— 모델의 전체 파라미터 중 일부 전문가(Expert) 네트워크만 활성화하여 추론을 수행하는 아키텍처이다. 이 아키텍처는 모델의 총 용량은 크지만 실제 계산량은 적게 유지하여, 추론 속도와 효율성을 동시에 확보할 수 있게 한다.

SFT

— 특정 작업에 대한 입력과 정답 쌍으로 구성된 데이터셋을 사용하여 사전 학습된 모델을 추가 학습시키는 과정이다. 이 게시물에서는 Kimi K2.6의 추론 흔적 데이터를 사용하여 모델의 사고 방식을 모방하도록 조정하는 데 사용됐다.

Quantization

— 모델의 가중치 정밀도를 낮추어 메모리 사용량을 줄이고 추론 속도를 높이는 최적화 기법이다. IQ4_XS와 같은 양자화 버전은 35B 규모의 모델을 일반 소비자용 GPU나 노트북에서도 실행 가능하게 만든다.