본문으로 건너뛰기

WSM Merge

WSM 병합

WSM 방법을 사용해 학습 단계의 모델 가중치를 결합하는 처리입니다. Ling-3.0 tiny와 flash 각각에 WSM-merged 결과가 별도 공개됐지만, WSM 논문의 주요 실험은 이 여섯 체크포인트가 아닌 Ling-mini를 대상으로 진행됐습니다.