wsm
가중 체크포인트 병합
WSM은 학습률 감쇠 단계 대신 여러 학습 체크포인트를 가중치로 결합하는 방식이다. Ling-3.0에서는 Mid-trained 체크포인트에 WSM을 적용해 최종 모델을 만들며, 다양한 학습률 감쇠 전략을 오프라인에서 비교할 수 있게 한다.
가중 체크포인트 병합
WSM은 학습률 감쇠 단계 대신 여러 학습 체크포인트를 가중치로 결합하는 방식이다. Ling-3.0에서는 Mid-trained 체크포인트에 WSM을 적용해 최종 모델을 만들며, 다양한 학습률 감쇠 전략을 오프라인에서 비교할 수 있게 한다.
