다단계 시각적 추론을 위한 계층적 디노이징

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

다단계 추론 과제에서는 초기 선택을 나중에 수정할 수 있는 능력이 성능을 좌우하며, 기존 자동회귀 확산은 이 수정 능력이 부족하고 전방향(full) 확산은 추론 비용이 매우 높다. 본 논문은 계층적 잠재와 계층별 디노이징 강도 배분을 통해 전역적 계획을 유지하면서도 스트리밍 저지연 생성을 유지하는 설계를 제시하여 이 긴장 관계를 해소한다. 실험에서 HDR은 기존 스트리밍 기준선 대비 성공률을 34.22에서 60.29로 끌어올리고 평균 진행도는 76.00에서 89.56으로 증가하여 일관된 중간 추론 경로를 확보함이 확인된다.

왜 중요한가

다단계 추론 과제에서는 초기 선택을 나중에 수정할 수 있는 능력이 성능을 좌우하며, 기존 자동회귀 확산은 이 수정 능력이 부족하고 전방향(full) 확산은 추론 비용이 매우 높다. 본 논문은 계층적 잠재와 계층별 디노이징 강도 배분을 통해 전역적 계획을 유지하면서도 스트리밍 저지연 생성을 유지하는 설계를 제시하여 이 긴장 관계를 해소한다. 실험에서 HDR은 기존 스트리밍 기준선 대비 성공률을 34.22에서 60.29로 끌어올리고 평균 진행도는 76.00에서 89.56으로 증가하여 일관된 중간 추론 경로를 확보함이 확인된다.

핵심 기여

계층적 트리 잠재를 통한 코스 투 파인(reasoning) 구조 도입

비디오 잠재를 여러 시간 해상도의 트리 구조로 조직하여 상위 계층이 전역 계획을, 하위 계층이 프레임 수준 세부를 표상하도록 구성했다. 상위 계층은 높은 노이즈 잔류로 다중 가설을 보존하고 하위 계층은 점진적 디노이징으로 이를 구체화하도록 계층별 역할을 명확히 나누었다. 이 구조는 스트리밍 자동회귀의 저지연 성질을 유지하면서도 수정 가능한 전역 계획 공간을 제공한다.

계층별 플로우-매칭 손실로 레벨별 디노이징 동작 학습

각 계층 토큰을 연속 시간 보간으로 노이즈화하고 목표 속도(ϵ−v0)를 예측하도록 학습하여 계층별로 적합한 속도장을 학습시켰다. 손실은 모든 레벨과 토큰에 대해 합산되며 레벨 가중치 λℓ로 기여도를 조절한다. 이를 통해 상위 레벨은 전역 구조를, 하위 레벨은 운동학적·시각적 세부를 모델링하도록 분리된 동작이 유도된다.

SHAP: 희소 계층적 어텐션 패턴으로 시간 비용 절감

생성 순서를 코스투파인으로 평탄화한 뒤 각 토큰이 같은 레벨의 직전 토큰, 부모 레벨의 해당 세그먼트 및 인접 부모 경계, 첫 프레임 컨텍스트만 조회하도록 바이너리 마스크 M_SHAP를 설계했다. 이 마스크는 각 행이 상수 개의 타깃만 가지므로 전체 시퀀스 길이에 무관한 고정 비용을 보장한다. 생성 시 각 토큰의 키·값은 전역 KV 캐시에 저장되고 SHAP 마스크로 선택된 상태만 재활용되어 다중 해상도 정보 흐름을 유지한다.

다단계 비디오 추론 벤치마크와 실물 로봇 전이 실험

여섯 과제(미로, Hanoi, 한선 그리기, 슬라이딩 퍼즐, Sokoban, 물 따르기)로 구성된 난이도-분층화 벤치마크를 구축하여 논리적 일관성과 OOD 일반화를 측정했다. HDR은 스트리밍 기준선인 CausalForcing보다 전체 성공률을 34.22에서 60.29로 끌어올렸고, 2% 데이터만으로도 성공률의 82.9%를 유지해 데이터 효율성을 증명했다. 또한 3,000 가상 동영상으로 사전학습하고 50 실물 로봇 영상으로 미세조정한 뒤 역동학 모델을 통해 행동으로 변환하여 물리 상호작용 전이 가능성을 보였다.

핵심 아이디어 이해하기

스트리밍 자동회귀 확산은 과거만을 조건으로 하여 저지연 생성과 KV-cache 재사용을 가능하게 하지만 초기 프레임·청정 잠재에 조기 확정(commitment)이 발생하면 이후 단계에서 잘못된 결정을 되돌리기 어렵다. 반대로 양방향(full) 확산은 모든 시점의 노이즈를 동시에 갱신하므로 전역적 수정이 가능하지만 매 단계마다 전체 시퀀스를 갱신해야 하므로 배포 비용이 매우 높다. 따라서 핵심 문제는 전역적 수정을 허용하면서도 스트리밍 저지연 특성을 유지하는 균형점이다.

방법론

HDR은 비디오를 트리 형태의 계층적 잠재 𝒯={𝒱1,…,𝒱L}로 표현하여 상위 레벨(ℓ=1)은 전역 계획을 요약하고 하위 레벨(ℓ=L)은 프레임 단위의 세부를 인코딩하도록 설계했다. 학습 시 각 계층 토큰 v_{ℓ,i}는 선형 보간 v_{ℓ,i}^t=(1−t)v_{ℓ,i}^0+tϵ로 노이즈화되고 목표 속도 u_{ℓ,i}^t=ϵ−v_{ℓ,i}^0를 예측하도록 u_θ를 학습하는 계층별 플로우-매칭 손실을 사용한다. 추론 시에는 모든 트리 토큰을 코스→파인 순으로 평탄화하여 생성하며, SHAP 마스크는 각 토큰이 이전 같은 레벨 토큰, 부모 레벨의 해당 부모 및 그 이웃, 그리고 첫 프레임만을 참조하도록 제한한다. 또한 계층별 샘플링 예산 K_ℓ를 K1< K2< … <KL로 설정하여 상위 레벨의 잔여 노이즈(ρ1>ρ2>…>ρL)를 의도적으로 크게 유지함으로써 다중 가설을 보존하고 하위 레벨에서 점진적으로 구체화한다.

주요 결과

메인 비교에서 HDR은 스트리밍 자동회귀 기준선 CausalForcing에 비해 전체 성공률을 34.22에서 60.29로 향상시켰고 상대 이득은 76.2%로 계산된다. 평균 진행도는 76.00에서 89.56으로 증가하여 중간 단계의 논리적 일관성이 개선되었음이 수치로 확인된다. 추론 지연 측면에서 HDR의 스트리밍 단계당 평균 지연은 0.70초로 CausalForcing의 0.72초와 유사하며, 양방향(full) 확산의 37.92초에 비해 크게 빠르다.

기술 상세

전체 아키텍처는 Wan2.2-5B-TI2V를 기반으로 확장된 Video DiT 스타일의 네트워크를 사용하며 계층 수 L=6으로 구성되었다. 논문에서 사용한 엔트로피 정렬(entropy-matched) 디노이징 샘플링 스케줄은 [5, 8, 13, 20, 32, 50]으로 주어져 상위 레벨에 적은 디노이징 예산을 할당하여 불확실성을 유지한다. 학습 목적함수는 각 레벨의 토큰에 대해 기대값을 취한 속도 회귀 손실 ℒ_HDR=∑{ℓ=1}^L λ_ℓ (1/N_ℓ) ∑{i=1}^{N_ℓ} E_{t,ϵ}[|| (ϵ−v_{ℓ,i}^0)−u_θ(v_{ℓ,i}^t,t,h_{ℓ,i},c) ||2^2]로 정의되어 레벨별 문맥 h{ℓ,i}와 조건 c를 입력으로 받는다. SHAP 마스크는 평탄화된 토큰 인덱스 φ(ℓ,i)=i+∑_{r<ℓ} N_r 기준으로 이진 행렬 M_SHAP을 구성하며 각 행은 상수 개의 유효 컨텍스트만을 허용하므로 시간 복잡도는 시퀀스 길이에 선형적으로 증가하지 않는다.

실무 활용

HDR은 트리형 잠재와 SHAP를 통해 스트리밍 생성에서 전역 계획을 유지하면서도 프레임 단위 출력을 저지연으로 생성하므로 로봇 제어와 같은 폐쇄루프 물리 상호작용 시나리오에 적합하다. 실제 실험에서 3,000개의 가상 미로로 사전학습한 뒤 50개의 실물 영상으로 미세조정한 설정에서 실물 로봇 미로 작업에서 강한 전이 성능을 보였다. 이러한 특성은 제한된 실물 데이터와 낮은 지연이 요구되는 응용에 실용적임을 시사한다.

로봇 팔 조작에서 예측 영상 기반의 장기 계획 수립 및 로컬 행동 보완
시뮬레이션 기반 세계 모델을 실물 데이터 적은 상황에 미세조정하여 제로샷 또는 소수샷 전이
장기 플래닝이 필요한 비디오 예측 기반 자동 제어 루프에서의 저지연 추론

코드 공개 여부: 미확인

키워드

Hierarchical Denoising(계층적 디노이징)SHAP(희소 계층적 어텐션 패턴)Autoregressive Diffusion(자동회귀 확산)Flow-Matching(플로우-매칭)Video Reasoning(비디오 추론)

용어 해설

Hierarchical Latents: — 시간 축을 여러 해상도 수준으로 나눈 잠재 토큰 구조를 의미한다. 상위 수준 토큰은 전체 계획이나 전역 정보를, 하위 수준 토큰은 프레임 단위의 세부 시각 상태를 표현하며, 계층적 디노이징은 상위에서 하위로 점진적으로 불확실성을 줄여 최종 영상을 생성한다.
Flow-Matching: — 연속 시간 경로에서 노이즈와 청정 토큰 사이의 속도(velocity) 필드를 학습하는 훈련 목표이다. 본문에서는 각 계층 토큰을 선형 보간으로 잡음화하고, 모델이 그 속도(ϵ−v0)를 회귀하도록 최적화하여 단계별 디노이징 동작을 학습하게 한다.
Autoregressive Diffusion: — 시간축을 왼쪽에서 오른쪽으로 순차 생성하는 확산 기반 영상 생성 방식이다. 이전에 생성된 토큰만을 조건으로 하여 스트리밍 저지연 생성과 KV-cache 재사용이 가능하지만 초기 결정이 나중에 수정되기 어렵다는 한계가 있다.
Sparse Attention: — 모든 시점 간 완전한 상호작용을 허용하지 않고 선택된 이웃·상위 수준·첫 프레임 컨텍스트만을 참조하도록 제한한 어텐션 패턴이다. 본문에서는 SHAP를 통해 각 토큰이 상수 개수의 컨텍스트만 조회하도록 설계하여 길이 의존적 비용을 제거한다.