swiglu

Llama 계열 모델에서 사용되는 활성화 함수로 기존의 ReLU보다 모델의 표현력을 높이고 학습 안정성을 개선한다. 현대적인 트랜스포머 아키텍처의 필수 요소이다.