FlowAnchor: 인버전 프리 비디오 편집을 위한 편집 신호 안정화 기법

기존의 비디오 편집 기술은 원본 비디오를 분석하는 인버전 과정에 많은 시간이 소요되거나, 여러 객체가 등장하는 장면에서 편집 대상이 아닌 영역까지 변하는 문제가 있었다. FlowAnchor는 학습 없이도 편집 신호를 공간적, 강도적으로 고정하여 복잡한 배경이나 빠른 움직임 속에서도 특정 객체만 정확하고 일관되게 수정할 수 있게 한다.

FlowAnchor의 핵심 아이디어는 비디오 생성 과정에서 텍스트와 이미지 공간을 연결하는 Softmax 기반의 Attention 메커니즘을 직접 제어하는 것이다. 기존 방식은 텍스트 지시어가 비디오 전체에 영향을 주어 여러 객체가 있을 때 편집 신호가 섞이는 한계가 있었다. 이를 해결하기 위해 SAR 기법은 특정 타겟 토큰의 Attention 점수를 마스크 영역 내에서만 증폭시키고 외부에서는 억제하여 신호가 엉뚱한 곳으로 튀지 않게 고정한다.

또한, 비디오가 길어질수록 생성 모델의 내부 연산 과정에서 편집 신호의 크기가 작아져 색상이나 형태 변화가 미미해지는 문제가 발생한다. FlowAnchor는 이를 보정하기 위해 AMM을 도입하여 신호의 강도를 비디오 길이에 비례해 높여준다. 이는 마치 희미해지는 목소리를 마이크 증폭기로 키우는 것과 같으며, 결과적으로 긴 영상에서도 처음부터 끝까지 일관된 편집 효과를 유지하게 한다.

FlowAnchor는 Rectified Flow 기반의 샘플링 궤적을 직접 수정하는 방식을 취한다. 먼저 SAR 단계에서는 Cross-Attention 로그값(logits)에 대해 텍스트 토큰 변조를 수행한다. [마스크 영역 내 타겟 토큰의 최대/최소 로그값을 입력으로] -> [현재 로그값을 최대값 쪽으로 끌어올리거나 최소값 쪽으로 누르는 볼록 결합(convex interpolation) 연산을 수행해] -> [대비가 강화된 로그값을 얻고] -> [이를 Softmax에 통과시켜 특정 영역에 고정된 어텐션 맵을 생성한다].

이후 AMM 단계에서는 채널별로 평균화된 편집 신호의 강도를 분석한다. [채널 평균 편집 신호를 입력으로] -> [Min-Max 정규화를 통해 0~1 사이의 대비 맵(contrast map)을 생성하고, 비디오 길이에 따른 로그 스케일 증폭 계수를 곱하는 연산을 수행해] -> [최종 변조된 편집 신호를 얻고] -> [이 신호가 샘플링 궤적을 타겟 분포로 강력하게 밀어내도록 유도한다].

실험 결과, FlowAnchor는 FiVE-Bench와 Anchor-Bench 모두에서 기존 SOTA 모델들을 압도했다. 특히 텍스트 정렬도를 측정하는 L.CLIP-T 점수에서 Anchor-Bench 기준 21.59점을 기록하며 Wan-Edit(18.43점) 대비 큰 폭의 향상을 보였다. 시공간적 일관성을 나타내는 Warp-Err 수치에서도 1.392를 기록하여 가장 안정적인 비디오 생성이 가능함을 입증했다.

Ablation Study를 통해 SAR의 텍스트 토큰 변조와 시공간 변조가 모두 제거될 경우 위치 정확도가 급격히 떨어짐을 확인했다. 또한 AMM이 없을 경우 편집 강도가 부족하여 색상 변경 등이 제대로 이루어지지 않는 현상이 관찰되었다. 효율성 측면에서도 1.3B 파라미터 모델 기준 가장 낮은 추론 시간과 경쟁력 있는 GPU 메모리 점유율을 보여 실용성을 증명했다.

FlowAnchor는 Wan2.1-T2V-1.3B 모델을 백본으로 사용하며, Rectified Flow 샘플링 과정에서 인버전 없이 직접 궤적을 수정한다. SAR은 초기 디노이징 단계(t >= 0.6T)의 모든 30개 Cross-Attention 레이어에 적용되어 초기 구조를 잡는 데 집중하며, 이후 단계에서는 세부 디테일 보존을 위해 비활성화된다. AMM은 모든 샘플링 단계에서 작동하며, 기준 프레임 수(F0=21)를 바탕으로 로그 스케일의 증폭 계수를 계산하여 수치적 안정성을 유지하면서 신호를 강화한다. 마스크의 정밀도에 관계없이 작동하도록 설계되어 거친 수동 마스크나 바운딩 박스만으로도 정교한 편집이 가능하다는 것이 기술적 차별점이다.

전역적인 스타일 변환(Global Style Transfer)이나 객체의 큰 동작 변화(Substantial Motion Changes)를 동반하는 편집에는 여전히 한계가 있으며, 이는 인버전 프리 패러다임 자체의 특성에서 기인한다.