본문으로 건너뛰기

gdpa

범용 내적 어텐션

중급

표준 어텐션의 소프트맥스(Softmax) 연산을 GELU, SiLU 등 다양한 활성화 함수로 대체한 구조이다. 추천 시스템 모델에서 서로 다른 데이터 간의 복잡한 상호작용을 효율적으로 모델링하기 위해 사용된다.