chunk-wise-causal-attention

Chunk-wise Causal Attention은 시간 축을 작은 청크로 나누고 현재 청크와 이전 청크들만 참조하도록 제한한 인과적 어텐션 마스크이다. 이 방식은 미래 프레임 접근 없이 연속 스트리밍 입력을 처리할 수 있게 하며, 모델이 인과적 실행에서 안정적인 구조적 표현을 유지하도록 돕는다. 논문에서는 청크 크기를 3 latent 프레임으로 설정하여 학습과 추론을 진행했다.