어텐션 롤아웃
Transformer의 여러 레이어를 거치며 전달되는 주의력(Attention)의 흐름을 재귀적으로 계산하여 추적하는 기법이다. 특정 출력 토큰이 생성될 때 초기 입력 토큰들이 실제로 어느 정도의 기여를 했는지 정량적으로 파악할 수 있게 해준다.