본문으로 건너뛰기

attention-masking

어텐션 마스킹

고급

특정 토큰이 다른 특정 토큰을 보지 못하도록 가리는 기술이다. 인과적 어텐션을 구현하거나 특정 세그먼트 내에서만 정보를 공유하도록 제어할 때 사용된다.