카메라 궤적을 따르는 영상 생성법 SCoPE

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

SCoPE는 pretrained Video Diffusion Transformer에 카메라 시선 좌표를 positional coordinate로 추가해 지정한 카메라 궤적을 따르는 영상을 생성하는 방법이다. 첫 프레임과 text prompt, camera trajectory를 입력하면 기존 Image-to-Video prior를 유지하면서 카메라 움직임이 반영된 영상을 출력한다. 공개 저장소는 Wan2.2-I2V-A14B용 self-contained release라 별도의 Wan2.2 checkpoint 다운로드 없이 inference를 실행할 수 있으며, 논문·GitHub·Project 페이지·Hugging Face Demo가 함께 제공된다.

실용적 조언

카메라 움직임을 조건으로 한 영상 생성을 재현하려면 SCoPE GitHub 저장소의 Wan2.2-I2V-A14B self-contained release를 사용하고, 첫 프레임·text prompt·camera trajectory를 입력 조건으로 준비하면 됩니다.
구현 원리를 확인하려면 arXiv 논문과 PDF를 함께 읽고, 실제 입력과 출력 흐름은 Hugging Face Demo에서 확인할 수 있습니다.

섹션별 상세

SCoPE는 pretrained Video Diffusion Transformer에 카메라 시선 방향을 positional coordinate로 추가하는 방식으로 카메라 제어형 영상 생성을 구현합니다. 입력은 첫 프레임, text prompt, camera trajectory이며, 모델은 이 조건을 함께 처리해 요청된 카메라 움직임을 따르는 영상을 출력합니다. 별도의 성능 수치나 비교 벤치마크는 제시되지 않았지만, 카메라 궤적을 생성 조건으로 직접 연결하는 구현 방향이 명시되어 있습니다.

이 저장소는 Wan2.2-I2V-A14B를 대상으로 한 self-contained release로 구성되어 별도의 Wan2.2 checkpoint를 추가로 내려받지 않아도 inference에 필요한 요소를 포함합니다. 따라서 사용자는 첫 프레임과 텍스트, 카메라 궤적을 준비한 뒤 공개된 실행 환경을 통해 이미지-투-비디오 생성을 재현할 수 있습니다. GitHub 저장소와 Hugging Face Demo가 함께 제공되어 구현 확인과 실행 경로가 분리되지 않는다는 점이 핵심입니다.

용어 해설

비디오 Diffusion Transformer(Video Diffusion Transformer): — 비디오 Diffusion Transformer는 노이즈에서 영상을 단계적으로 복원하는 Diffusion 구조에 Transformer를 결합한 생성 모델입니다. 프레임과 시간 정보를 함께 처리해 텍스트, 이미지, 움직임 조건에 맞는 영상을 생성합니다.
위치 인코딩(Positional Encoding): — 위치 인코딩은 입력 데이터의 순서나 공간적 위치를 모델에 전달하는 장치입니다. SCoPE에서는 일반적인 프레임 위치 정보에 카메라 시선 좌표를 추가해 영상 생성 과정에서 요청한 촬영 방향과 움직임을 반영합니다.
이미지-투-비디오(Image-to-Video): — Image-to-Video는 첫 프레임이나 정지 이미지를 출발점으로 삼아 시간에 따른 움직임을 추가하고 영상으로 확장하는 생성 방식입니다. SCoPE는 이 기존 prior를 유지하면서 카메라 궤적을 조건으로 함께 사용합니다.
카메라 궤적(Camera Trajectory): — 카메라 궤적은 영상 생성 중 카메라가 어떤 방향과 경로로 이동할지를 나타내는 조건입니다. SCoPE는 이를 카메라 시선 좌표로 변환해 모델에 입력하고, 지정된 촬영 움직임을 따르는 영상을 생성합니다.