본문으로 건너뛰기

ffn-writer-neurons

FFN writer 뉴런

FFN의 down-proj 가중치 열이 특정 프로토타입 차원에 축을 맞춘 부호 패턴을 기록하는 뉴런들; 다수의 뉴런 coalition이 패턴을 합의하여 residual에 저장한다.