SkyReels-V4: 멀티모달 비디오-오디오 생성, 인페인팅 및 편집 모델

SkyReels V4는 비디오와 오디오의 공동 생성(joint video audio generation), 인페인팅(inpainting), 그리고 편집(editing)을 위한 통합된 멀티모달 비디오 파운데이션 모델(unified multi modal video foundation model)입니다. 이 모델은 이중 스트림 멀티모달 확산 트랜스포머(dual stream Multimodal Diffusion Transformer, MMDiT) 아키텍처를 채택하고 있으며, 한 분기(branch)는 비디오를 합성하고 다른 분기는 시간에 맞춰 정렬된 오디오를 생성하는 동시에, 멀티모달 대형 언어 모델(Multimodal Large Language Models, MMLM) 기반의 강력한 텍스트 인코더를 공유합니다. SkyReels V4는 텍스트, 이미지, 비디오 클립, 마스크, 오디오 참조를 포함한 풍부한 멀티모달 지시사항(rich multi modal instructions)을 수용합니다. MMLM의 멀티모달 지시 수행 능력과 비디오 분기 MMDiT의 인컨텍스트 학습(in context learning)을 결합함으로써, 모델은 복잡한 조건 하에서도 세밀한 시각적 가이드를 주입할 수 있으며, 오디오 분기 MMDiT는 동시에 오디오 참조를 활용하여 소리 생성을 안내합니다. 비디오 측면에서는 이미지-비디오 변환, 비디오 확장, 비디오 편집과 같은 광범위한 인페인팅 스타일의 작업을 단일 인터페이스로 통합하는 채널 결합 방식(channel concatenation formulation)을 채택하고 있으며, 멀티모달 프롬프트를 통해 시각 참조 기반의 인페인팅 및 편집으로 자연스럽게 확장됩니다. SkyReels V4는 최대 1080p 해상도, 32 FPS, 15초 길이를 지원하여 동기화된 오디오와 함께 고충실도의 멀티샷 시네마급 비디오 생성을 가능하게 합니다. 이러한 고해상도, 장시간 생성을 계산적으로 가능하게 하기 위해, 저해상도 전체 시퀀스와 고해상도 키프레임의 공동 생성 후 전용 초해상도(super-resolution) 및 프레임 보간(frame interpolation) 모델을 사용하는 효율성 전략을 도입했습니다. 저자들이 알기로는, SkyReels V4는 멀티모달 입력, 비디오-오디오 공동 생성, 그리고 생성·인페인팅·편집의 통합 처리를 동시에 지원하면서 시네마급 해상도와 길이에서 강력한 효율성과 품질을 유지하는 최초의 비디오 파운데이션 모델입니다.