super-activation
슈퍼 액티베이션
특정 슈퍼 웨이트가 입력에 대해 생성하는 매우 큰 크기의 활성값으로서 입력과 출력 분포에서 예외적으로 큰 스파이크로 나타난다. 이 활성은 이후 층과 잔차(skip) 경로를 통해 일정한 위치와 크기를 유지하면서 전달되며 모델의 최종 로짓 분포를 편향시킨다. 슈퍼 액티베이션은 슈퍼 웨이트를 찾는 검출 신호로 활용되어 단일 순전파로 위치를 추정할 수 있다.
중급
슈퍼 액티베이션
특정 슈퍼 웨이트가 입력에 대해 생성하는 매우 큰 크기의 활성값으로서 입력과 출력 분포에서 예외적으로 큰 스파이크로 나타난다. 이 활성은 이후 층과 잔차(skip) 경로를 통해 일정한 위치와 크기를 유지하면서 전달되며 모델의 최종 로짓 분포를 편향시킨다. 슈퍼 액티베이션은 슈퍼 웨이트를 찾는 검출 신호로 활용되어 단일 순전파로 위치를 추정할 수 있다.