causal-attention-blocking

인과적 어텐션 차단은 특정 의미적 청크가 이후의 모든 생성 토큰으로 정보를 전파하지 못하게 어텐션 맵을 영으로 설정하는 개입 방식이다. 논문은 lazy blocking과 총체적(total) blocking을 구분하여 중간 레이어의 정보 누수를 막는 총체적 차단이 실제로 정보 흐름을 차단함을 검증했다. 이 기법은 어텐션이 기능적으로 중요한지 인과적으로 입증하기 위한 실험적 도구로 사용되었다.