Weighted Merging
가중 병합
여러 학습 Checkpoint의 파라미터를 정해진 가중치로 결합하는 방법입니다. WSM에서는 Warmup-Stable 학습 궤적에서 저장한 Checkpoint를 병합해 Learning rate decay와 유사한 효과를 만들며, 병합 대상과 가중치가 결과에 영향을 줍니다.
가중 병합
여러 학습 Checkpoint의 파라미터를 정해진 가중치로 결합하는 방법입니다. WSM에서는 Warmup-Stable 학습 궤적에서 저장한 Checkpoint를 병합해 Learning rate decay와 유사한 효과를 만들며, 병합 대상과 가중치가 결과에 영향을 줍니다.
