LongE2V: 비디오 확산 프라이어를 이용한 장기 이벤트 기반 영상 복원·예측·프레임 보간

왜 중요한가

이 논문은 이벤트 카메라의 고속·HDR 장점을 사람 읽을 수 있는 프레임 영상으로 복원하면서 장기간 예측의 누적 오류 문제를 해결한 점이 중요하다. 기존 회귀 기반 방법은 텍스처를 흐리게 하고, 단순한 확산 적용은 장기 드리프트를 초래했으나 본 연구는 사전학습된 비디오 확산 프라이어와 자가회귀 미세조정을 결합해 사실감과 안정성을 동시에 확보했다. 또한 프레임 보간을 제로샷으로 처리할 수 있게 하여 별도 감독학습 없이도 실시간 센서 변동에 강한 적응성을 확보했다.

핵심 기여

사전학습된 비디오 확산 프라이어를 이벤트 조건부 생성에 적용

CogVideoX 기반의 비디오 확산 프라이어를 이벤트 복셀과 동기 프레임을 조건으로 미세조정해 복원·예측·보간을 단일 아키텍처로 처리했다. 이 접근은 소량의 실데이터만으로도 고주파 텍스처와 지각적 품질을 재현하는 능력을 제공했다. 결과적으로 전통적 회귀 기법 대비 LPIPS 등 지각적 지표에서 우수성을 보였다.

장기 안정성을 위한 자가회귀 언롤링과 적응형 컨텍스트 전환

학습 시 예측 출력을 반복적으로 컨텍스트로 대체하는 Autoregressive Unrolling을 도입해 학습-추론 분포 차이를 줄였다. 실행 중에는 Attention 평균 μ_attn을 계산해 컨텍스트 업데이트를 동적으로 결정하는 Adaptive Context Switch를 적용해 불필요한 누적 오류 전파를 억제했다. 이 두 기법은 긴 시퀀스에서의 색상 드리프트와 구조적 붕괴를 크게 낮췄다.

프레임 보간을 위한 재인코딩 정렬과 교차 잔차 보정

3D VAE의 시공간 압축으로 발생하는 잠재·픽셀 공간의 비가환성 문제를 Decode→Flip_pix→Encode 순으로 정렬하는 Reencoding Alignment로 해결했다. 재인코딩 과정에서 발생하는 정보 손실을 상호 잔차(ΔZ)를 계산해 반대 방향에 주입하는 Cross Residual Correction으로 보완했다. 이 조합은 제로샷 보간에서 고스팅과 블러를 줄이고 텍스트 가독성 같은 세부 복원을 가능하게 했다.

센서 변화에 강한 Event Voxel Density Augmentation 및 효율적 미세조정

이벤트 복셀을 무작위로 리사이즈·크롭해 다양한 복셀 밀도에 견고하도록 학습시켰으며, 학습 시 동일 기하 변환을 프레임에도 동기 적용해 정합을 보장했다. 모델 파라미터는 첫 번째 프로젝션 레이어를 완전 미세조정하고 DiT 블록은 LoRA(r=64)로 효율적으로 조정해 데이터 효율성과 메모리 효율을 동시에 확보했다. 평가 단계에서는 업샘플링과 타일별 디노이징 전략으로 입력 해상도 변동에 대응했다.

핵심 아이디어 이해하기

이 논문은 이벤트 카메라가 제공하는 비동기적 밝기 변화 신호가 프레임 기반 비전 알고리즘에 직접 적합하지 않다는 근본 문제에서 출발한다. 이벤트 신호는 고속 동작과 HDR 정보를 담지만 절대 강도 정보가 없고 시간적으로 매우 희소하기 때문에 단순 회귀로 프레임을 복원하면 평균 회귀 현상으로 인해 고주파 텍스처가 손실되는 경향이 있다. 또한 장기간 예측에서는 반복 조건화가 누적 오류로 이어져 색상 드리프트와 구조 붕괴가 발생하는 한계가 존재한다.

방법론

LongE2V는 세 가지 핵심 요소로 작동한다. 첫째, 입력 이벤트 스트림을 B=3 temporal bin을 갖는 이벤트 복셀(V∈R^{B×H×W})로 이산화하고, 제공되는 시작 프레임과 컨텍스트 프레임을 포함해 모두 3D VAE로 인코딩한다. 둘째, 인코딩된 시퀀스들을 프레임 차원 및 채널 차원으로 병합한 뒤 첫 번째 패치 프로젝션 레이어를 2C_vae→3C_vae로 확장해 이벤트 채널을 수용하고, DiT 백본은 LoRA(r=64)로 효율적 미세조정을 수행한다.

주요 결과

정량 실험에서 본 방법은 복원과 예측 모두에서 기존 최첨단 기법을 능가했다. 표 1에 따르면 예측 태스크에서 ECD 데이터셋 기준 VDM-EVFI의 PSNR 20.33에 비해 본 기법은 24.40을 기록해 큰 폭의 개선을 보였고 LPIPS에서도 유의미한 낮은 값을 획득했다. 프레임 보간의 제로샷 평가에서도 BS-ERGB에서 LPIPS 0.124로 CBMNet-Large의 0.170보다 우수했고 HQF에서도 0.105로 가장 낮은 값을 보여 일반화 능력을 증명했다.

기술 상세

아키텍처는 CogVideoX I2V 기반의 3D VAE와 DiT(영상용 Diffusion Transformer) 백본으로 구성된다. 3D VAE는 시간축에 대해 4× 압축과 공간축에 대해 8× 압축을 적용한 잠재 표현을 산출하며, 노이즈화된 잠재 Z_t에 대해 DiT가 ε_θ(Z_t,t,C) 예측을 학습하는 표준 확산 손실을 사용한다. 입력 전처리에서 이벤트 e_i=(x_i,y_i,t_i,p_i)는 시간 정규화와 선형 보간을 거쳐 V(t,y,x)=∑_i p_i max(0,1-|t-t_i^*|) δ(x-x_i,y-y_i)로 복셀화되며 실험에서는 B=3을 적용해 VAE의 3채널 입력 규격을 만족시켰다.

한계점

논문 본문에서 명시된 한계로는 추론 속도와 메모리 요구량이 아직 실시간 운영 수준에 도달하지 못했다는 점이 있다. 저자들은 향후 작업으로 추론 가속화와 장기 일관성을 위한 효율적 메모리 메커니즘을 연구 과제로 제시했다. 또한 사전학습 프라이어가 없으면 제한된 데이터만으로는 확산 백본을 처음부터 학습시키는 것이 수렴하지 않아 실용성이 떨어진다.

실무 활용

LongE2V는 실제 이벤트 카메라 응용에서 실시간 성능 요구를 충족시키기에는 아직 추가 최적화가 필요하지만, 소량의 실세계 데이터로도 고품질 복원과 제로샷 보간을 제공하므로 프로토타입 및 연구 응용에 즉시 활용 가능하다. 공개된 코드와 모델 아티팩트를 통해 데이터 준비, 이벤트 복셀 생성, 그리고 DiT 기반 미세조정 파이프라인을 재현할 수 있다. 향후 추론 가속화와 메모리 효율화가 이루어지면 실제 임베디드 센서 연동이나 고속 영상 복원 파이프라인에 적용할 수 있다.

고속 모션을 촬영하는 로봇이나 드론에서 이벤트 센서로 획득한 스트림을 사람 친화적 영상으로 복원해 시각화 및 디버깅에 활용할 수 있다.
자율주행이나 스포츠 분석처럼 긴 시퀀스 안정성이 요구되는 환경에서 시작 프레임과 이벤트로 장기 예측을 수행해 물체 궤적 추적과 행동 추론을 보조할 수 있다.
프레임 간 간격이 큰 비디오에서 제로샷 보간을 통해 중간 프레임을 생성해 비디오 편집이나 복원 워크플로에서 활용할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

video diffusion priors(비디오 확산 프라이어)event voxel(이벤트 복셀)autoregressive unrolling(자가회귀 언롤링)adaptive context switch(적응형 컨텍스트 전환)reencoding alignment(재인코딩 정렬)cross residual correction(교차 잔차 보정)

용어 해설

이벤트 복셀(Event Voxel): — 이벤트 카메라 출력인 비동기 이벤트를 시간축으로 이산화하여 B×H×W 형태의 3차원 격자로 재구성한 표현이다. 각 복셀은 특정 시간 bin 내에서의 극성 합계를 저장하여 프레임 기반 모델의 입력으로 사용될 수 있다. 본 논문에서는 B=3으로 설정하여 3채널 형태로 3D VAE에 직접 투입하는 방식으로 활용했다.
비디오 확산 프라이어(Video Diffusion Prior): — 사전학습된 비디오 확산 모델로서 노이즈-역과정을 통해 고품질의 시공간 잠재표현을 생성하는 사전분포이다. 본 논문은 CogVideoX I2V 같은 대규모 DiT 기반 프라이어를 미세조정하여 이벤트 조건부 생성에 활용했다. 프라이어는 소량 데이터에서도 사실감과 고주파 디테일을 재현하는 능력을 제공한다.
자가회귀 언롤링(Autoregressive Unrolling): — 학습 단계에서 모델이 자기 출력을 맥락으로 반복 사용하도록 점진적으로 예측 샘플로 컨텍스트를 대체하면서 fine-tune하는 절차이다. 이 방식은 학습-추론 분포 차이를 줄여 장기 예측 시 누적 오류와 드리프트를 억제한다. 논문에서는 예측을 T회 반복하여 모델이 스스로 생성한 오류에 적응하도록 했다.
적응형 컨텍스트 전환(Adaptive Context Switch): — 컨텍스트 업데이트를 고정 주기가 아닌 현재 토큰이 컨텍스트 토큰에 얼마나 의존하는지를 Attention 평균값 μ_attn으로 판단해 동적으로 결정하는 기법이다. μ_attn이 임계값 τ(논문에서는 0.05) 미만이면 컨텍스트를 교체하고 청크 재생성을 시도해 드리프트를 제어한다. 이 메커니즘은 불필요한 누적 오류 전파를 줄여 장기 안정성을 개선한다.
재인코딩 정렬(Reencoding Alignment): — 3D VAE의 시공간 압축 때문에 잠재공간에서의 시간 반전(Flip_lat)와 픽셀 공간에서의 반전(Flip_pix)이 일치하지 않는 문제를 해결하기 위해 예측된 잠재를 디코드한 뒤 픽셀 공간에서 반전하고 다시 인코드하는 절차이다. 이 루프는 시간적 정렬을 복원하지만 디코드-인코드 과정에서 정보 손실이 발생할 수 있다. 논문은 이 과정을 보완하기 위해 교차 잔차 보정을 함께 사용했다.
교차 잔차 보정(Cross Residual Correction): — 재인코딩으로 인해 손실된 고주파 성분을 앞뒤(branch) 예측 간의 잔차를 교차 주입하여 보상하는 메커니즘이다. 원래 잠재와 재인코딩된 잠재의 차이를 계산해 반대 방향에 더함으로써 세부 정보를 복원하고 시간적 합의를 촉진한다. 이 절차는 프레임 보간에서 고스팅과 블러를 줄이는 데 필수였다.

LongE2V: 비디오 확산 프라이어를 이용한 장기 이벤트 기반 영상 복원·예측·프레임 보간

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LTX-Video: 시공간 1:192 압축으로 실시간 비디오 생성을 구현한 Latent Diffusion 모델