뉴런별 어텐션
각 뉴런이 고유한 Q/K/V/O 가중치를 가지며 쿼리-키 유사도를 뉴런 단위로 계산해 일부 뉴런만 활성화시키는 기법이다. 입력 쿼리는 모든 뉴런에 대해 개별적으로 유사도를 계산하거나 효율적 인덱싱으로 소수 경로만 선택되고, 선택된 뉴런들 사이의 attention 연산으로 출력이 생성된다. 이 방식은 전체 뉴런을 모두 활성화하는 전통적 attention 대비 연산 및 메모리 절감 가능성을 제공한다.
