Vidu S1: 음성 제어를 지원하는 소비자 GPU 실시간 대화형 비디오 생성 모델

Vidu S1은 사용자의 음성 지시로 실시간으로 장면을 바꿀 수 있는 대화형 비디오 생성 능력을 제공하여 기존의 사전 렌더링 방식이나 지연이 큰 생성 모델과 다른 체험을 만든다. 본문에서는 블러와 드리프트 없이 무한 길이의 연속 재생을 유지할 수 있다고 보고되어, 장시간 연속 재생이 필요한 실시간 아바타·스트리밍 애플리케이션에 직접적인 가치가 있다. 또한 소비자 수준 GPU에서 540p 해상도와 최대 42 FPS를 달성한 점이 지연 제약이 있는 실무 적용 가능성을 크게 높인다.

연속적인 실시간 비디오 생성 문제는 각 프레임을 개별적으로 생성하면 시간적 일관성 유지와 지연 제약 때문에 실시간 적용이 어렵다는 점에서 출발한다. Vidu S1은 TurboDiffusion으로 고속의 생성 과정과 프레임 일관성 관리를 담당하고 TurboServe로 낮은 지연의 스트리밍 추론을 수행하여 이 두 문제를 동시에 해결하려고 설계되었다. 결과적으로 사용자 음성 명령이 도착하면 즉시 해당 지시를 반영한 프레임을 연속적으로 생성하고 전송할 수 있는 파이프라인을 구성함으로써 실시간 상호작용을 가능하게 한다.

전체 접근은 생성 엔진과 서빙 계층을 분리하여 각 구성요소가 실시간 요건을 만족하도록 최적화하는 구조로 요약된다. TurboDiffusion은 연속 프레임 생성에서 시각적 안정성을 유지하면서 빠른 샘플링을 지원하는 역할을 맡고 TurboServe는 추론 요청을 저지연으로 처리하며 스트리밍 출력과 사용자 입력 동기화를 관리한다. 입력 측면에서는 사용자의 음성 명령과 커스텀 이미지가 실시간으로 모델에 반영되어 즉시 비디오 흐름에 통합되도록 설계되어 있다.

논문은 Vidu S1이 소비자 GPU 환경에서 540p 해상도로 최대 42 FPS로 실시간 비디오를 출력할 수 있음을 보고하였다. 추가적으로 제시된 평가에서는 Vidu S1이 실험한 모든 테스트 지표에서 최고 성능을 달성했다고 기술되어, 시각적 품질과 실시간 처리 요구를 동시에 만족시켰음을 시사한다. 구체적인 수치 표나 벤치마크 이름은 초록에 포함되지 않아 상세 비교 수치는 본문 전문에서 확인할 필요가 있다.

전체 시스템 아키텍처는 생성 모델 계층과 서빙 계층을 분리한 파이프라인으로 구성되어 있으며, 생성 계층으로 TurboDiffusion을 사용하고 서빙 계층으로 TurboServe를 사용한다고 초록에서 명시되었다. 입력 파이프라인은 사용자의 음성 명령과 업로드된 커스텀 이미지를 실시간으로 수신하여 생성 파이프라인에 반영하는 스트리밍 방식으로 동작하는 것으로 기술되었다. 성능 측정은 소비자 GPU 환경을 기준으로 540p 해상도에서 최대 42 FPS라는 지표를 중심으로 이루어졌으며, 이는 실시간 추론 요건을 충족하기 위한 시스템 최적화가 적용되었음을 의미한다.