본문으로 건너뛰기
AI Trends
피드
트렌딩
커뮤니티
공지
로그인
피드
트렌딩
커뮤니티
공지
SwiGLU (swiglu) 용어 설명 | AI Trends
swiglu
SwiGLU
고급
Llama 계열 모델에서 사용되는 활성화 함수로 기존의 ReLU보다 모델의 표현력을 높이고 학습 안정성을 개선한다. 현대적인 트랜스포머 아키텍처의 필수 요소이다.
비슷한 개념
vanilla-transformer
gated-linear-unit
gelu
g2lu
relu
softmax-attention
softplus-function
post-layernorm
← 용어 사전 전체 보기