SparkVSR: 희소 키프레임 전파를 통한 대화형 비디오 초해상도 기술

기존 비디오 화질 복원 모델은 사용자가 결과물을 수정하기 어려운 블랙박스 구조였다. SparkVSR은 사용자가 몇 장의 핵심 프레임만 고품질로 만들면 이를 전체 영상에 자연스럽게 퍼뜨려, 전문가 수준의 세밀한 화질 제어와 일관된 복원을 가능하게 한다.

비디오 초해상도의 근본적 한계는 하나의 저해상도 입력에 대응하는 고해상도 결과가 여러 개일 수 있다는 부정량성(ill-posedness)에 있다. 기존 모델은 이를 통계적 확률로만 해결하려다 보니 사용자가 원하는 특정 질감이나 디테일을 반영하기 어려웠다. Transformer의 Attention 메커니즘이 시퀀스 내 모든 토큰의 관계를 계산하는 원리를 활용하여, SparkVSR은 사용자가 지정한 고품질 키프레임의 정보를 주변 프레임으로 전파한다.

SparkVSR은 이 문제를 키프레임 전파로 해결한다. 사용자가 임의의 이미지 초해상도(ISR) 모델로 몇 장의 키프레임만 고품질로 만들면, 모델은 이 키프레임의 고주파 정보를 앵커(Anchor) 삼아 주변 프레임으로 복사한다. 이때 Diffusion Transformer(DiT) 아키텍처를 활용해 영상의 원래 움직임(Motion)을 유지하면서 새로운 디테일을 주입한다.

결과적으로 사용자는 전체 영상을 일일이 수정할 필요 없이, 몇 장의 프레임만 제어함으로써 영상 전체의 화질과 스타일을 일관되게 바꿀 수 있다. 이는 단순한 자동 복원을 넘어 창작자의 의도를 반영하는 도구로 진화했음을 의미하며, 기존 방식 대비 시간적 일관성이 크게 향상된 결과를 제공한다.

전체 아키텍처는 CogVideoX1.5-5B를 기반으로 하며, 저해상도 비디오 잠재값과 희소하게 배치된 고해상도 키프레임 잠재값을 결합하는 이중 인코딩 메커니즘을 사용한다. [저해상도 프레임 x_lr 입력 → 3D Causal VAE 인코딩 → 16채널 잠재 표현 Z_LR 생성] 과정을 거쳐 비디오의 구조적 정보를 추출한다.

키프레임 전파를 위해 Z_ref라는 참조 잠재 표현을 구성한다. [선택된 키프레임 위치에 고해상도 인코딩 값 삽입 → 나머지 위치에 0(Zero tensor) 채움 → Z_LR과 Z_ref를 채널 방향으로 결합] 연산을 수행하여 32채널의 입력 Z_in을 만든다. 이는 모델이 어떤 프레임이 가이드 정보인지 명확히 인지하게 한다.

학습은 2단계로 진행된다. 1단계(Latent-Space)에서는 VAE 디코더를 고정하고 Transformer만 학습시켜 효율성을 높인다. 2단계(Pixel-Space)에서는 픽셀 단위의 손실 함수를 추가한다. [예측된 비디오와 정답 비디오 비교 → MSE, DISTS, Frame consistency loss 계산 → 가중치 합산] 과정을 통해 시간적 깜빡임을 제거하고 시각적 품질을 극대화한다.

추론 단계에서는 Reference-Free Guidance(RFG)를 적용한다. [참조 있는 예측 v_cond와 참조 없는 예측 v_uncond의 차이 계산 → 가이드 스케일 s를 곱해 v_uncond에 더함 → 최종 예측값 산출] 과정을 통해 사용자가 키프레임의 영향력을 0에서 1.5 사이로 자유롭게 조절할 수 있도록 설계했다.

UDM10, SPMCS, YouHQ40 등 주요 벤치마크에서 기존 SOTA 모델들을 압도했다. 특히 지각적 품질 지표인 CLIP-IQA에서 24.6%, 비디오 품질 지표인 DOVER에서 21.8%, MUSIQ에서 5.6%의 성능 향상을 기록하며 시각적 만족도가 가장 높음을 입증했다.

실제 환경 데이터셋인 MovieLQ(1940~50년대 고전 영화) 실험에서 복원된 텍스트의 가독성과 얼굴 세부 묘사가 비약적으로 개선되었다. 이는 모델이 복잡한 실제 열화 환경에서도 강건하게 작동하며, 기존 모델들이 흔히 범하는 과도한 부드러움(Over-smoothing) 문제를 해결했음을 보여준다.

Ablation study를 통해 RFG 스케일을 조절함에 따라 왜곡(PSNR/SSIM)과 지각적 품질(CLIP-IQA) 사이의 최적의 트레이드오프를 형성할 수 있음을 확인했다. 스케일이 커질수록 PSNR은 다소 낮아지나 실제 눈으로 보이는 디테일과 질감은 비약적으로 풍부해지는 파레토 최적(Pareto front)을 달성했다.

CogVideoX의 3D Causal VAE를 활용하여 시간적 다운샘플링(4배)이 적용된 잠재 공간에서 연산을 수행한다. 이는 연산 효율성을 확보하면서도 긴 시퀀스의 문맥을 유지하게 하며, 인코더가 시간적 연속성을 보존하는 특징을 추출하도록 돕는다.

Classifier-Free Guidance(CFG)에서 착안한 Reference-Free Guidance(RFG)를 도입했다. 학습 시 일정 확률(p_drop=0.1)로 참조 프레임을 제거하여, 추론 시 키프레임 가이드 강도를 s 파라미터로 자유롭게 조절할 수 있게 설계했다. 이는 모델이 가이드가 없을 때도 독립적인 복원 능력을 갖추게 한다.

손실 함수 설계 시 L_s2-video = L_mse + λ1 L_dists + λ2 L_frame 조합을 사용했다. λ1=λ2=1로 설정하여 구조적 정확도, 지각적 유사성, 프레임 간 연속성을 동시에 최적화했다. 특히 L_frame은 인접 프레임 간의 차이를 최소화하여 비디오 특유의 떨림 현상을 억제한다.

키프레임 선택 전략으로 수동 선택, 코덱 I-프레임 추출, 랜덤 샘플링의 세 가지 모드를 지원한다. I-프레임 추출 방식은 비디오 압축 표준의 특성을 활용하여 정보량이 가장 많은 프레임을 자동으로 앵커로 삼을 수 있게 한다.