어텐션 마스킹
특정 토큰이 다른 특정 토큰을 보지 못하도록 가리는 기술이다. 인과적 어텐션을 구현하거나 특정 세그먼트 내에서만 정보를 공유하도록 제어할 때 사용된다.
프롬프트 반복만으로 성능 향상? 트랜스포머 구조의 숨겨진 비밀