causal-attention

현재 토큰이 이전 토큰들만 참조할 수 있도록 제한하는 어텐션 방식이다. 디코더 기반 언어 모델에서 다음 단어를 예측할 때 미래의 정보를 보지 못하게 하여 학습의 정당성을 보장한다. 하지만 프롬프트 입력 단계에서도 미래 토큰을 보지 못해 정보 처리가 제한되는 단점이 있다.