activation-collapse

모델의 특정 레이어에서 출력값이 특정 방향으로 급격히 쏠리거나 정보 밀도가 낮아지는 현상이다. 특정 입력(트리거)이 모델의 내부 상태를 비정상적으로 변화시키는 지표로 활용되어 백도어 탐지에 사용된다.