FastVideo 팀: 실시간 비디오 생성 및 라이브 프롬프트 편집 프로토타입 공개

실용적 조언

실시간 비디오 편집을 위해서는 짧은 클립을 체이닝하는 방식이 유효하다.
B200과 같은 고성능 가속기를 활용하면 지연 시간을 4.5초 수준으로 단축 가능하다.

섹션별 상세

FastVideo 팀은 5초 분량의 클립들을 체이닝하여 총 30초 길이의 연속된 장면을 생성하는 방식을 도입했다. 이를 통해 사용자가 프롬프트를 입력하면 생성 중인 비디오의 내용을 실시간으로 수정할 수 있는 인터랙티브한 환경을 구축했다. 실시간보다 빠른 생성 속도를 활용해 지연 시간이 거의 없는 스트리밍 가능성을 확인했다.

현재 시스템은 NVIDIA B200 GPU 한 장에서 구동되며, 첫 프레임 생성까지 약 4.5초가 소요되는 고속 추론 성능을 보여준다. 개발팀은 향후 일반 사용자용 하드웨어인 RTX 5090에서도 구동 가능하도록 최적화 작업을 진행 중이며, 해당 결과물을 오픈소스로 공개할 계획이다.

기반 모델로 사용된 LTX-Video(ltx-2)는 프롬프트 제어가 까다로운 특성이 있어 결과물에 일부 부자연스러운 부분이 존재한다. 하지만 팀은 향후 더 강력한 오픈소스 모델들이 출시됨에 따라 생성 품질이 지속적으로 향상될 것이라는 전망을 내놓았다. 이번 공개는 속도와 상호작용성에 초점을 맞춘 프로토타입 단계이다.

용어 해설

지연 시간(Latency): — 시스템이 요청을 받은 후 응답을 시작하기까지 걸리는 시간이다. 비디오 생성 분야에서는 프롬프트 입력 후 첫 번째 프레임이 화면에 나타날 때까지의 속도를 결정하는 핵심 지표이다.
기술 실증(PoC): — Proof of Concept의 약자로, 새로운 아이디어나 기술이 실제로 구현 가능한지 증명하기 위해 제작하는 초기 단계의 모델이다. 상용화 전 단계에서 기술적 타당성을 확인하는 용도로 쓰인다.
체이닝(Chaining): — 여러 개의 짧은 비디오 클립을 연속적으로 연결하여 하나의 긴 영상을 만드는 기법이다. 이 방식은 실시간 편집 시 변경된 프롬프트를 다음 클립 생성에 즉시 반영할 수 있게 한다.
LTX-비디오(LTX-Video): — Lightricks에서 개발한 오픈소스 비디오 생성 모델이다. 고해상도 비디오를 효율적으로 생성하도록 설계되었으나, 프롬프트에 따른 정확한 제어가 다소 까다로운 특성이 있다.

언급된 도구

LTX-Video중립

비디오 생성 기반 모델

B200추천

고성능 AI 가속기 하드웨어

언급된 리소스

문서FastVideo Blog: DreamVerse