외부 기하 메모리로 끝없는 비디오 생성

왜 중요한가

대화형 world model은 과거 장면을 오래 기억하면서도 즉시 반응하고 긴 시간 동안 영상을 이어가야 하지만, denoiser context와 key-value cache에 기록을 계속 쌓으면 세션이 길수록 비용이 증가합니다. Evoke는 장면 기하를 외부 World State Bank로 분리하고, 장기 supervision을 받은 teacher에서 세 단계 student로 능력을 옮겨 이 충돌을 완화합니다. 단일 H200에서 384 × 640 해상도의 1.5초 chunk를 2.11초에 생성하면서 두 시간 연속 생성과 WBench 최고 성능을 함께 평가했다는 점에서 장시간 대화형 영상 생성의 설계 기준을 넓힙니다.

핵심 기여

외부 기하 메모리로 고정 비용 반복 생성

Evoke는 최근 19개 latent frame만 denoiser에 유지하고, 더 오래된 장면은 카메라 pose로 조회하는 World State Bank에 저장합니다. 생성 chunk에서 monocular depth를 추정해 월드 좌표 기하로 기록하고, 현재 시점과 공가시성이 높은 최대 8개 source view를 다시 투영합니다. 이 구조는 세션 길이가 늘어도 개별 denoising 호출의 context와 positional span을 키우지 않으며, 보존 범위 안에서 재방문 장면을 복원합니다.

장기 상호작용용 Teacher 구조

Evoke Teacher는 Wan2.2 A14B diffusion transformer를 기반으로 9개 latent frame 단위의 chunk-wise sparse attention을 사용합니다. 각 chunk는 첫 프레임 sink, 겹치는 로컬 context, 압축된 인접 프레임, 선택된 원거리 프레임, linear-attention global state를 읽고 독립적인 text condition을 받습니다. 이 입력 경로는 긴 시간 범위의 content drift와 세션 중간 prompt 변화를 한 번의 teacher rollout 안에서 학습 신호로 만듭니다.

CFG 없는 세 단계 Student로 능력 이전

Student는 정답 prefix 1개 뒤에 생성 chunk 20개를 자기 강제 방식으로 이어 붙이고, 총 189 latent frame 또는 약 31.4초의 궤적을 teacher와 critic이 함께 채점받습니다. 전체 궤적에 대해 distribution matching을 적용하되 chunk 사이의 history를 detach해 역전파 그래프와 activation memory를 제한합니다. 그 결과 세 번의 denoising evaluation만 사용하고 classifier-free guidance 없이 장기 안정성과 timed prompt control을 수행합니다.

핵심 아이디어 이해하기

기존 대화형 video model은 과거 frame이나 key-value cache를 denoiser 안에 계속 보관합니다. 그러면 입력 context가 세션 길이에 따라 커져 각 denoising step의 메모리와 연산량이 증가하고, windowing이나 cache eviction을 적용하면 오래된 장면을 버려야 합니다. Evoke는 장면의 공간 상태와 영상의 시간적 흐름을 분리합니다.

카메라가 현재 위치에 들어오면 외부 World State Bank에서 해당 시점과 겹치는 기하를 읽고, 이를 view-aligned conditioning으로 student에 공급합니다. 입력은 저장된 기하 render, 최근 local history, 현재 text condition이고, student는 이 세 정보를 세 단계 denoising으로 처리해 1.5초 chunk를 출력합니다. 출력 chunk의 depth와 camera pose는 다시 bank에 기록되어 다음 recurrent step의 공간 기억이 됩니다.

공간 기억만 저장하면 카메라가 이동하는 동안 장면을 어떻게 자연스럽게 변화시킬지는 해결되지 않습니다. 그래서 teacher는 짧은 local window뿐 아니라 선택된 먼 frame과 linear global state를 함께 읽고, 30초가량의 자기 강제 rollout 전체를 감독합니다. student는 이 장기 분포 차이를 학습해 짧은 window에서는 자연스럽지만 시간이 지나면 밝기·질감·장면 정체성이 서서히 변하는 content drift를 줄입니다.

각 chunk에 별도의 prompt를 넣는 구조는 시간 중간의 지시도 학습하게 합니다. 따라서 고정된 장면 기하는 유지하면서 unanchored 영역에 새 객체를 추가하거나 제거할 수 있고, 외부 memory가 이미 뒷받침하는 영역은 prompt가 쉽게 덮어쓰지 못합니다. 결과적으로 Evoke의 반복 비용은 시간에 따라 커지지 않고, 장기 변화는 teacher supervision이, 재방문 공간은 World State Bank가 담당합니다.

방법론

Evoke는 세 단계 student를 고정된 형태의 recurrent interface로 반복 호출합니다. 단계 k에서 camera trajectory와 text condition을 입력으로 받고, World State Bank에서 현재 시점에 맞는 render를 읽은 뒤 최근 local history와 함께 다음 video chunk를 생성합니다. 생성 결과는 다시 geometry로 변환되어 bank에 기록되므로 세션 시간이 늘어나는 효과가 호출 횟수 증가로만 나타납니다.

Teacher는 60초 clip을 9개 latent frame chunk로 나누고 각 query chunk가 제한된 source만 읽도록 구성됩니다. 로컬 context와 일부 먼 frame은 선택적으로 연결하고, 전역 정보는 linear attention으로 누적해 sequence length에 따른 activation memory와 computation 증가를 선형 수준으로 유지합니다. 동시에 chunk별 text condition을 할당해 한 rollout 안에서 prompt가 바뀌는 상황을 재현합니다.

학습은 ground-truth prefix 1개와 student가 생성한 chunk 20개를 이어 붙이는 self-forced rollout으로 진행됩니다. student는 chunk마다 세 번의 function evaluation을 수행해 21 × 9 = 189 latent frame을 만들고, teacher와 critic은 전체 궤적의 score를 계산합니다. DMD gradient는 첫 번째 생성 chunk를 제외한 뒤 적용하며 chunk 사이의 history를 detach해 전체 rollout을 채점하는 장기 supervision과 한 chunk 단위의 제한된 backward graph를 동시에 유지합니다.

World State Bank에는 생성 chunk의 12개 frame에서 추정한 depth를 camera intrinsics와 extrinsics로 역투영해 기록합니다. 현재 camera pose와 co-visibility가 높은 source를 최대 8개 선택하고 batched projection과 z-buffering으로 target view에 렌더링합니다. visibility가 0.5 미만인 픽셀은 σ = 1로 처리해 conditioning에서 제외하고, 지원되는 영역만 낮은 noise로 전달하여 미관측 영역의 자유로운 합성을 보장합니다.

주요 결과

158개 사례로 구성된 WBench navigation split에서 Evoke는 Video Quality 평균 82.79, Setting 평균 83.76, Physical 평균 72.06을 기록해 평가된 few-step 시스템 중 해당 그룹 평균에서 가장 높은 점수를 얻었습니다. Consistency 평균은 86.87로 가장 강한 결과와 비슷한 수준이었고, Scene 74.68과 Causal Fidelity 82.44가 특히 높았습니다. 반면 Navigation 78.63과 Perspective 69.74는 상대적으로 낮아 camera-control 경로가 남은 과제로 나타났습니다.

세 단계 denoising과 CFG 미사용 조건에서도 VBench-2.0 점수 66.77로 10개 중 1위, VBench-Long 점수 85.11로 10개 중 7위를 기록했습니다. 단일 H200과 384 × 640 해상도에서 1.5초 chunk의 diffusion wall clock은 2.11초였습니다. 65.5분 rollout 8개와 두 시간 연속 생성 사례에서는 고정 retention budget이 찬 뒤에도 개별 recurrent step의 비용이 증가하지 않았고, photometric 통계가 초기 transient 이후 안정화됐습니다.

장기 teacher에서 증류한 student는 short-horizon teacher에서 증류한 student보다 photometric stability가 높았습니다. Figure 6의 비교에서 long-horizon student는 시작 밝기의 101% 수준에 정착했고 short-horizon student는 74% 수준에 정착했으며, 8개 clip 중 7개가 개선되어 Wilcoxon p = 0.016을 기록했습니다. 다만 content descriptor에서는 두 student를 유의하게 구분하지 못했으므로 이 실험은 모든 장기 일관성보다 photometric drift 저항성에 대한 근거로 해석됩니다.

재방문 실험에서는 retention window가 카메라가 떠나 있던 시간 이상일 때 짧은 보존 구간보다 2.3–3.2 dB 높은 PSNR을 얻었고, 21개 비교 중 20개가 예측된 전환을 따랐습니다. 기하 memory의 plateau는 15.4–17.8 dB로 pixel-faithful 복원이 아닌 인식 가능한 수준의 recall을 나타냈습니다. 세션 중간 unanchored 객체를 추가하는 timed prompt는 67%에서 실현됐지만, World State Bank가 이미 지지하는 geometry를 덮어써야 하는 요청은 4%에서만 실현됐습니다.

기술 상세

Evoke의 recurrent 생성은 $r_k=Read(M_k,\mathcal{P}_k)$ , $x_k\sim p_\theta(\cdot\mid r_k,h_k,c_k)$ , $M_{k+1}=Write(M_k,x_k,\mathcal{P}_k)$ 의 순서로 진행됩니다. 여기서 $M_k$ 는 외부 World State Bank, $\mathcal{P}_k$ 는 24 fps로 resample된 camera-to-world extrinsics와 intrinsics, $h_k$ 는 제한된 local history, $c_k$ 는 단계별 text condition입니다. camera trajectory와 저장 geometry가 입력으로 들어가 view-aligned render를 만들고, student가 이를 history와 prompt와 결합해 다음 chunk를 출력한 뒤 새 관측을 다시 bank에 쓰는 흐름입니다.

Student는 최근 19개 latent frame을 약 3.2초 범위로 보관하며 long-, mid-, short-range tier에 각각 16, 2, 1 frame을 배치합니다. 각 chunk는 12 × 20, 24 × 40, 48 × 80 해상도의 coarse-to-fine latent pyramid에서 세 번 denoising evaluation을 거치고, geometry conditioning은 12 × 20의 가장 거친 단계에만 주입됩니다. 이렇게 하면 저장 geometry가 큰 공간 구조를 먼저 고정하고 상위 해상도 단계가 외관과 세부 묘사를 보정합니다.

Teacher는 Wan2.2 A14B diffusion transformer의 high-noise expert와 low-noise expert를 sampled timestep에 따라 선택합니다. LoRA adapter를 켜면 critic, 끄면 teacher로 동작하므로 두 score가 같은 expert 안에서 계산됩니다. 9개 latent frame chunk마다 first-frame sink, 한 frame overlap을 둔 local context, spatially compressed nearby frame, 선택된 distant frame, linear-attention global state를 결합해 각 chunk의 접근 정보량을 제한합니다.

DMD에서 $\Delta s=s_{fake}-s_{real}$ 은 critic과 teacher score의 차이이고, $ u=mean_\Omega[|\hat{x}0-s{real}|]$은 gradient mask $\Omega$ 안의 평균 차이입니다. student prediction $\hat{x}_0$ 는 $\hat{x}_0-\Delta s/ u$ 방향의 detached target과 제곱 오차를 계산해 갱신됩니다. prefix와 첫 generated chunk를 mask에서 제외하고, 20개 generated chunk 전체를 teacher가 함께 평가하므로 boundary flicker를 피하면서 약 31.4초 범위의 장기 discrepancy를 학습합니다.

World State Bank는 hour-scale 설정에서 2160 pixel frame, 즉 90초의 geometry를 보관하며 매 세 번째 frame을 ingest해 active source pool을 최대 720 frame으로 제한합니다. depth model은 generated chunk의 12개 frame을 처리하고, 역투영된 geometry는 chunk별로 독립 삽입되어 긴 sequence에서 depth scale drift가 누적되는 문제를 피합니다. 현재 view와의 co-visibility로 최대 8개 source를 고른 뒤 z-buffering으로 렌더링하고, visibility가 낮은 영역은 denoiser token에서 제거해 저장 정보가 있는 픽셀만 강하게 제약합니다.

한계점

논문은 현재 geometric World State가 object identity, appearance, local detail보다 coarse scene structure 보존에 치우친다고 명시합니다. 동적 객체의 움직임과 상태 전환을 장기간 갱신하는 표현도 아직 포함하지 않습니다. 또한 higher-compression video VAE, 더 효율적인 few-step generator, 저비용 geometric conditioning을 통한 추가 inference acceleration이 필요하다고 밝힙니다.

실무 활용

Evoke는 카메라 이동과 text prompt 변화가 이어지는 장시간 video generation에 활용할 수 있습니다. 최근 영상 history와 외부 기하 memory를 분리하므로 세션이 길어져도 개별 생성 호출의 context 예산을 고정할 수 있고, 보존된 범위 안에서는 이전 장소를 재방문할 수 있습니다. 다만 현재 memory는 fine-grained object identity보다 coarse scene structure 보존에 강하며, 완전한 실시간 처리를 위해서는 추가적인 inference acceleration이 필요합니다.

카메라를 연속적으로 이동하는 장시간 가상 환경 생성에 활용할 수 있습니다. student는 1.5초 video chunk를 반복 생성하고 camera pose를 World State Bank의 조회 주소로 사용합니다. 65.5분 평가와 두 시간 rollout에서 개별 recurrent step의 비용이 세션 시간에 따라 증가하지 않는 구조를 확인할 수 있습니다.
진행 중인 영상에 시간 지정형 text event를 삽입하는 상호작용에 활용할 수 있습니다. 각 chunk가 자신만의 text condition을 받으므로 이후 prompt에서 unanchored 영역에 새 객체를 추가하거나 기존 객체를 제거하는 입력을 전달할 수 있습니다. 통제된 평가에서는 이러한 unanchored 요청의 67%가 실현됐지만 저장된 geometry를 덮어쓰는 요청은 4%에 그쳤습니다.
카메라가 이전에 본 장소로 돌아오는 장면의 공간 continuity 보조에 활용할 수 있습니다. 생성 chunk에서 추정한 depth를 월드 공간에 기록하고, 재방문 시 현재 pose와 공가시성이 높은 source view를 target view로 투영합니다. retention window가 이탈 시간보다 길면 짧은 보존 구간보다 2.3–3.2 dB 높은 revisit PSNR을 얻지만, 결과는 pixel-faithful 복원보다 인식 가능한 수준의 recall에 가깝습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Evoke(장기 상호작용 비디오 월드 모델)World State Bank(외부 기하 메모리)Sparse Attention(희소 어텐션)Self-Forced Rollout(자기 강제 롤아웃)Distribution-Matching Distillation(분포 매칭 증류)CFG-free(분류기 없는 가이던스 미사용)

용어 해설

세계 상태 뱅크(World State Bank): — 세계 상태 뱅크는 생성된 장면의 기하 정보를 denoiser 바깥에 저장하는 외부 메모리입니다. 카메라 pose를 주소로 삼아 현재 시점과 겹치는 관측을 읽고, 새로 생성한 관측을 다시 기록합니다. 덕분에 세션이 길어져도 denoiser의 토큰 수와 개별 호출 비용이 고정됩니다.
희소 어텐션(Sparse Attention): — 희소 어텐션은 모든 프레임 쌍을 연결하지 않고 현재 chunk에 필요한 일부 정보만 선택하는 Attention 구조입니다. Evoke Teacher는 로컬 프레임, 선택된 먼 프레임, 선형 Attention으로 누적한 전역 상태를 함께 읽습니다. 각 chunk가 접근하는 정보량을 제한해 긴 시퀀스에서 Attention 비용 증가를 이차 규모에서 선형 규모로 낮춥니다.
자기 강제 롤아웃(Self-Forced Rollout): — Self-Forced Rollout은 학습 중 정답 영상 대신 학생 모델이 직전 단계에서 직접 생성한 결과를 다음 입력으로 사용하는 방식입니다. 초기 정답 prefix 뒤에 생성 chunk를 연속으로 붙여 실제 추론 중 누적되는 조건 오류를 재현합니다. Evoke는 약 31.4초의 전체 궤적을 교사와 critic이 함께 평가해 장기 drift에 대한 학습 신호를 만듭니다.
분포 매칭 증류(Distribution-Matching Distillation): — 분포 매칭 증류는 느린 teacher와 빠른 student가 생성하는 분포의 차이를 score 차이로 추정해 student를 갱신하는 학습 방법입니다. Evoke는 teacher score와 critic score의 차이를 정규화한 뒤 student의 예측을 그 방향으로 이동시킵니다. 전체 20개 생성 chunk를 함께 채점하면서도 chunk 사이의 gradient graph는 분리해 장기 감독 범위와 역전파 메모리 비용을 나눕니다.

외부 기하 메모리로 끝없는 비디오 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드