시퀀스 샤딩
시퀀스 샤딩은 긴 생성 시퀀스를 시간 축 또는 토큰 축으로 분할하여 서로 다른 GPU 순위에 할당하고, 각 순위가 할당된 구간을 병렬로 처리하는 기법이다. 이 방식은 시퀀스 길이가 길어질 때 연산을 병렬화해 처리 시간을 줄이는 데 효과적이며, 논문에서는 고해상도 비디오 잠재 시퀀스에 대해 시퀀스 샤딩을 적용해 denoising을 분산했다. 오디오 잠재 시퀀스는 토큰 수가 짧아 샤딩 오버헤드가 발생하므로 샤딩을 적용하지 않았다.