ImageWAM: World Action Models이 정말 Video Generation을 필요로 하는가, 아니면 Image Editing으로 충분한가?

왜 중요한가

World Action Models(WAMs)은 일반적으로 비디오 생성 기반으로 정책 학습에 필요한 시각 정보를 얻는다. 다수의 미래 프레임 토큰 예측은 계산 비용을 증가시키고, action-irrelevant한 세부 정보까지 처리하게 만든다. ImageWAM은 이미지 편집 모델의 중간 표현을 이용해 언어 지시 conditioned 비주얼 변환에 집중하는 방식으로 이러한 한계를 해결한다.

핵심 기여

ImageWAM 프레임워크 제안

사전학습된 이미지 편집(backbone) 모델을 로봇의 시각적 백본으로 재활용하고, 편집-denoising 중 생성된 KV 캐시를 액션 예측기로 전달하는 방식으로 정책 학습을 수행한다.

편집 프리트레이닝의 정책 학습 적합성 식별

instruction-to-change alignment, 쉬운 목표-변화 프록시, 컴팩트한 추론 경로의 세 가지 특성을 확인하고, 이 특성이 로봇 제어에서의 실용성에 기여함을 제시한다.

실험적으로 강력한 성능 및 효율성 입증

LIBERO, LIBERO-Plus, RoboTwin2.0 및 실세계 로봇에서 비디오 기반 WAM 및 VLA 대비 경쟁 또는 우수한 성능을 보였고, FLOPs를 1/6, latency를 1/4까지 감소시켰다.

주의 집중 분석으로 근거 강화

Attention 분석을 통해 editing caches가 task-relevant 변화 영역에 집중됨을 확인하여 이미지 편집이 비디오 기반 월드 액션 모델의 대안이 될 수 있음을 지지한다.

핵심 아이디어 이해하기

출발점과 문제의 정의: Transformer 기반 비전-언어 모델은 시퀀스 전체의 관계를 추정해야 하므로 시퀀스 길이가 길어질수록 계산 복잡도와 메모리 요구가 증가한다. 기존 WAM은 비디오 생성에 의존해 다수의 미래 프레임 토큰을 예측하는 방식인데, 이는 연산 비용과 액션-무관한 시각 정보의 낭비를 초래한다. 해결 원리: ImageWAM은 이미지 editing 백본을 사용해 현재 상태에서 지시 사항에 따른 시각적 변화를 예측하고, 이 편집-변환 정보를 KV 캐시로 보존해 액션 예측기에 전달한다. 목표 상태를 직접 생성하는 대신, 소스-기반의 엔드프레임 변환에 초점을 맞춰 action-relevant 변화만 다룬다. 달라지는 점: 미래 비디오 토큰의 생성 없이 편집 캐시를 이용한 조건화된 액션 예측으로 추론 경로를 단축하고, 고정된 하나의 편집 타임스탬프에서 얻은 컨텍스트로 빠른 추론을 가능하게 한다.

실무 활용

이미지 편집 백본을 활용한 WAM이 로봇 제어에서 비디오-토큰 기반 접근보다 더 효율적으로 작동한다. 편집 캐시는 작업 지시와 현재 관찰 간의 시각적 변화에 초점을 맞춰 액션 예측을 돕는다.

로봇 조작 태스크에 대한 실시간 정책 학습
다양한 도메인의 시각-자연어 지시를 포함한 로봇 제어
비디오 기반 WAM의 계산 비용 절감 필요 시 대안 채택

코드 공개 여부: 공개

코드 저장소 보기

키워드

world-action-modelsvideo-generationimage-editinginstruction-conditionedKV-cachesflow-matchingrobot-controlattention-analysis

용어 해설

Image Editing: — 소스 이미지를 주어진 언어 지시에 따라 변형시키는 프리트레이닝된 모델의 기능으로, 로봇 정책 학습에서 목표 프레임으로의 변화를 직접 다룬다. 편집은 연속적인 시간 축 전체를 예측하는 대신 현재 상태에서 목표 상태로의 변화를 중심으로 정보를 압축한다.
KV 캐시(KV caches): — Transformer 계열 모델에서 각 레이어의 Key/Value 매트릭스를 임시로 저장하고 재사용하는 메커니즘으로, 편집 백본의 중간 표현을 액션 예측기에 전달하는 용도로 사용된다.
Flow 매칭(Flow Matching): — 행동 예측을 위한 속도 벡터(v) 예측과 실제 행동 흐름(a_t:t+H) 간의 차이를 최소화하는 손실구조로, 액션 예측의 시간적 일관성을 유지한다.
Instruction Conditioning: — 자연어 지시(l)와 시각 입력(o_t)을 결합해 모델이 지시에 기초한 시각적 변화를 초점적으로 추론하도록 하는 조건화 기법이다.