컨텍스트 병렬화
컨텍스트 병렬화는 긴 시퀀스 생성에서 시퀀스 전체를 여러 GPU 순위(ranks)로 분할하여 각 순위가 병렬로 denoising 또는 생성 작업을 수행하고 필요할 때 all-to-all/gather 통신으로 결과를 취합하는 방식이다. 이 방식은 생성 연산을 병렬화해 고해상도 비디오처럼 길고 연산량이 큰 시퀀스의 처리율을 높이는 데 사용된다. 논문에서는 고해상도 비디오 잠재벡터의 denoising을 performer 그룹 내에서 컨텍스트 병렬화로 분산해 모델 측 응답 지연을 유지했다.