이중 스트림 확산모델 (dual-stream-diffusion) 용어 설명 | AI Trends
dual-stream-diffusion
이중 스트림 확산모델
중급
비디오와 오디오를 별도의 토큰·로테이션·스트림으로 처리하고 동일한 모델 블록에서 공동으로 denoise하는 구조이다. 이 논문에서는 비디오와 오디오 latents를 병렬로 입력해 동기화된 멀티모달 출력을 생성하며, cross-shot 메모리 블록을 두 스트림에 결합해 일관성을 유지하는 데 핵심 역할을 한다.