프랑켄-머지
서로 다른 모델의 레이어나 가중치를 강제로 결합하여 새로운 모델을 만드는 기법이다. 특정 레이어를 복제하거나 교체하여 모델의 깊이나 특성을 변경할 수 있다. 실험적인 모델 최적화 방법 중 하나로 꼽힌다.
1B 모델의 한계를 넘다: Llama 3.2와 알리바바 120B의 만남