FrameSkip: VLA 학습에서 더 적은 프레임으로 더 정보가 풍부한 프레임 학습

로봇 조작에서 프레임은 정보 밀도가 다르며, uniform 샘플링은 저변경 구간의 정보를 과소평가한다. FRAMESKIP은 프레임별 중요도에 따라 샘플링을 재배치해 학습 신호를 강화하고, 데이터 효율을 높인다. 이를 통해 프레임 수를 크게 줄이면서도 벤치마크에서 성능을 개선한다.

출발점: 로봇 시퀀스는 길이가 긴 저변경 구간과 짧은 고변경 구간으로 구성되며, 모든 프레임을 균등하게 학습에 사용하면 정보가 풍부한 프레임의 영향을 희석한다. 해결 원리: AVI, VAC, TPI라는 서로 보완되는 신호를 프레임에 적용해 중요도를 측정하고, retention ratio에 맞춰 상위 프레임만 사용한다.gripper-transition 보존을 더하면 접촉 관련 전이가 중요한 프레이밍에서 손실을 줄이고 학습 신호를 강화한다. 변경점: 20%의 고-중요 프레임으로 학습하면 세 벤치마크의 매크로 평균이 66.50%에서 76.15%로 상승하며, 프레임-중요도 기반 샘플링이 데이터 축소 그 이상임을 보여준다.

• 전체 접근 방식: FRAMESKIP은 프레임별 중요도 I(t)를 계산하여 프레임을 선별하고, caching된 프레임 인덱스를 통해 데이터 로더에서 다시 매핑한다. 모델 아키텍처와 손실은 변경하지 않는다.
• Frame Importance Estimation: AVI(t) = ||at − at−1||^2 + λ MeanVar(at+1:t+k) 개념으로 프레임의 행동 변화량을 정량화하고, VAC(t) = ||vt − vt−1||^2 / (||at − at−1||^2 + ε)로 시각적 변화와의 상호작용을 반영한다. TPI(t)는 분포를 근거로 한 진행도 중요도를 나타내며, 데이터셋에 맞춰 Gaussian Mixture Model을 사용한다. 이들 신호는 I(t) = α AVI(t) + β VAC(t) + γ TPI(t)로 결합된다.
• Pruning Rule: Kr = max(Kmin, floor(rT)); I(t) 임계값 θr를 기준으로 상위 rT 프레임을 선택하고, gripper-transition 보존, 시작/종료 프레임, 그리고 상위 10%에서의 action 변화 등을 보존한다. 프루닝 간격에 큰 차이가 나는 경우를 방지하기 위한 시간적 일관성 제약도 적용된다.
• Training Integration: warmup 단계(Nwarm)에서 r=1.0으로 dense training을 먼저 수행한 뒤, 이후 pruned view(r<1.0)에서 주로 학습하고, 5:1 비율로 full-frame anchor를 주기적으로 삽입한다. 프레임 인덱스 매핑은 로더에서만 이루어지며 학습 목표나 손실은 변화하지 않는다.

• RoboCasa-GR1: FRAMESKIP Avg 59.5% vs Full-Frame 47.8%; SimplerEnv Avg 71.55% vs Full-Frame 55.2%; LIBERO Avg 97.4% vs Full-Frame 96.5%. 세 벤치마크의 매크로 평균은 66.50%에서 76.15%로 상승한다.
• Ablation: Retention ratio에 따른 RoboCasa-GR1 Avg은 10%/20%/30%/40%/50%/60%/100%에서 각각 55.00/59.50/59.50/56.75/59.75/55.92/47.80이다. 50%에서 가장 높은 평균을 보인다.
• 프루닝 구성요소의 기여도: Random, AVI, AVI+TPI, AVI+VAC, AVI+VAC+TPI, Full 프레이밍의 순으로 Avg가 증가하며, FRAMESKIP Full이 최고치를 기록한다(Avg 76.15).
• Warmup: RoboCasa-GR1의 Avg는 2500/5000/7500/10000/12500/15000에서 각각 58.42/59.50/59.08/58.75/58.33/58.25로, 5000이 최적이다.

• 단락 1: 전체 아키텍처 구조 FRAMESKIP은 데이터 로더 수준에서 프레임 샘플링을 수행하고, VLA 모델, 액션 헤드, 손실 함수, 추론 절차를 변경하지 않는다. 로더가 프레임 인덱스를 재구성해 compressed trajectory를 제공한다.
• 단락 2: 핵심 메커니즘의 수학적/알고리즘적 기반 AVI, VAC, TPI의 정의와 조합 원리. AVI는 프레임 간 행동 변화의 크기를 측정하고, VAC는 시각적 변화의 정도를 정규화하여 프레임 선택에 반영한다. TPI는 데이터셋의 진행도 구조를 반영하는 사전으로 Gaussian Mixture Model을 사용한다. I(t)는 세 신호의 가중합으로 프레임 중요도를 산출한다.
• 단락 3: Prior work 대비 차별점 FRAMESKIP은 frame-level 중요도 기반 프루닝을 통해 데이터-레이어에서의 학습 신호 재배치를 제시하고, 아키텍처 변경 없이 적용 가능하다는 점에서 차별화된다.
• 단락 4: 구현 및 학습 세부사항 프루닝은 Kr를 이용해 프레이밍 수를 제어하고, 캐시된 인덱스와 함께 데이터 로더의 매핑을 통해 재생성한다. warmup 단계에서 dense training을 먼저 수행하고, 그 이후 프루닝 뷰를 주로 사용하며, 필요시 full-frame 앵커를 삽입한다.

TPI의 데이터 어노테이션은 offline에서의 진행도 priors를 필요로 하며, 주석이 없으면 dataset-agnostic Gaussian prior로 대체한다. 또한 프루닝 캐시는 추가 메모리 사용을 야기할 수 있다.