VLA-Corrector: 액션 청크 기반 VLA 정책의 잠재공간 모니터링과 온라인 보정으로 적응형 실행 지평을 구현한 경량 검출·보정 추론 프레임워크

액션 청크는 VLA 정책에서 추론 호출 빈도를 줄여 효율을 확보하지만 오픈루프 사각지대가 생겨 작은 외란이 빠르게 누적되어 실패로 이어진다. 본 논문은 고정된 청크 길이의 트레이드오프를 해소하기 위해 실행 중인 시각 잠재 진화를 모니터링하고 이상이 지속되면 즉시 청크를 잘라 재계획을 유도하는 방식을 제시했다. 이 방식은 백본 모델을 재학습하지 않고도 장기 작업과 접촉이 많은 조작에서 성공률과 성공당 호출 효율을 함께 개선하는 실용적 대안을 제공한다.

연속 제어에서 액션 청크는 한 번의 정책 호출로 여러 미래 동작을 예측해 실행 빈도를 낮추는 기법이다. 그러나 청크를 긴 상태로 유지하면 실행 중에 들어오는 최신 관측을 반영하지 못해 작은 편차가 누적되고 결국 분포 외 상태로 이탈하면 다음 재계획으로는 복구할 수 없는 상황이 발생한다. 따라서 핵심 문제는 '언제 현재 청크를 더 이상 신뢰하지 말아야 하는가'를 실행 중에 결정하는 것이며, 이를 위해 실행과 예측된 시각 동적의 불일치를 실시간으로 측정하는 신호가 필요하다.

본 논문은 시각 인코더가 생성한 잠재표현의 단기 잔차를 외부 경량 모델이 예측하고 실제 관측에서 계산한 잔차와의 코사인 유사도를 불일치 점수 E_t로 정의했다. 이 불일치 점수는 슬라이딩 창에서 중앙값과 MAD를 이용해 적응형 임계값을 형성하고, p 연속 스텝 동안 임계값을 초과하면 인터럽트를 발생시켜 남은 청크를 버리고 즉시 재계획을 수행하게 만든다. 이렇게 하면 안정적인 구간에서는 긴 청크의 효율을 그대로 유지하고, 편차가 발생하면 호라이즌을 단기적으로 줄여 폐쇄루프 반응성을 회복하도록 동작한다.

인터럽트 이후의 재계획 문제는 단순히 정책을 다시 호출하는 것만으로는 해결되지 않는 경우가 많다. 이를 개선하기 위해 논문은 재계획 시 후보 행동이 유발할 것으로 예측되는 잠재 변화 ΔZ_act와 목표 보정 방향 ΔZ_corr 사이의 정렬을 측정하는 손실을 정의하고, 이 손실의 그래디언트를 플로우 매칭의 속도장에 주입해 재계획이 보정 방향으로 수렴하도록 유도했다. 이 과정은 행동 좌표를 직접 조작하지 않고 속도장(v_tau)을 조절하는 방식이므로 원래의 생성 과정과 호환되며 보정이 보다 부드럽게 일어난다.

시스템 구성은 세 블록으로 요약된다: VLA 백본은 액션 청크를 생성하고, 외부 경량 모듈 M_phi는 짧은 시간 간격 k에 대한 잠재 잔차 ΔZ_hat을 예측하며, Latent-space Vision Monitor(LVM)는 실제 관측에서 계산한 ΔZ_real과 비교해 불일치 점수 E_t를 산출한다. 훈련 단계에서는 VLA 백본을 먼저 학습·고정한 뒤 시연 트래젝토리로부터 (o_t,a_t,o_{t+k}) 쌍을 추출해 M_phi를 학습한다. 목적함수는 L_corr = ||ΔZ_hat-ΔZ_||2^2 + β[1-CosSim(ΔZ_hat,ΔZ)]로 크기와 방향 정합성을 동시에 고려한다.

온라인에서 LVM은 매 제어 스텝 t에 실행된 액션 a_t과 현재 잠재 Z_t^real을 입력으로 M_phi가 예측한 ΔZ_{t+k}^{exp}와 관측으로부터 계산한 ΔZ_{t+k}^{real}의 코사인 기반 불일치 E_t=1-CosSim(ΔZ_exp,ΔZ_real)를 계산한다. 불안정한 단발 스파이크를 피하기 위해 슬라이딩 윈도우의 중앙값 M_e와 MAD를 이용해 T_on = M_e + λ_on MAD, T_off = M_e + λ_off MAD를 정의하고 E_t가 T_on을 p연속 스텝 초과하면 인터럽트를 발생시킨다. 인터럽트 발생 시 큐에 남은 나머지 행동은 폐기되고 즉시 재계획이 수행된다.

재계획 단계에서는 Online Gradient Guidance를 적용해 플로우 매칭의 속도장 v_tau에 대해 ℒ_OGG = 1 - CosSim(ΔZ_act, ΔZ_corr)를 정의하고 이 손실의 그래디언트를 속도장에 주입해 v_tau^{guide} = v_tau - η ∇_{v_tau} ℒ_OGG로 업데이트한다. 후보 청크에서 첫 동작의 예측 잠재 효과 ΔZ_act는 M_phi( Z_t^real,  a_hat )로 계산되고 보정 방향 ΔZ_corr은 과거의 안정 스텝에서 예측된 기대 잔차와 현재 누적 편차의 차로 정의된다. 이 방식은 재계획이 보정 방향에 대해 능동적으로 수렴하도록 유도한다.

구현 세부에서는 외부 모듈로 40M 규모의 MLP를 예시로 제시했고, 모듈은 VLA 백본의 시각 인코더 출력만 사용하므로 백본 재학습 없이 통합이 가능하다. 하이퍼파라미터 민감도 분석에서 중간 정도의 안내 계수 η와 40M 수준의 모니터 용량이 실험적으로 유효함이 확인되었고, 지나치게 강한 안내는 일부 어려운 작업에서 성능 저하를 초래할 수 있음이 보고되었다.

메인 벤치마크인 MetaWorld에서 VLA-Corrector는 세 백본 전반에 걸쳐 성공률을 일관되게 향상시켰다. π0.5의 평균 성공률은 고정 청크(open-loop) 기준 48.70%에서 VLA-Corrector 적용 후 64.35%로 증가했고 특히 Very Hard 분할에서는 41.0%에서 65.0%로 큰 향상이 관찰되었다. 이 개선은 SmolVLA와 X-VLA에서도 각각 평균 +4.75 및 +4.05 포인트의 향상을 보였다.

성공당 호출 효율 측면에서는 긴 호라이즌에서 이득이 더욱 커졌고, 표 4의 호라이즌 스윕에서 최대 성공당 호출 효율 이득이 π0.5에서 +29.9%까지 도달했다. 예를 들어 π0.5에서 호라이즌 50일 때 성공률은 48.72%에서 58.70%로 상승했고 평균 정책 호출은 5.15에서 4.98로 약간 감소하여 성공당 호출 효율이 유의하게 개선되었다. 이러한 결과는 VLA-Corrector가 단순히 호출을 늘려 성능을 올리는 것이 아니라 각 호출의 유용성을 높여 효율을 향상시킨다는 핵심 가설을 지지한다.

데이터 효율성 실험에서는 외부 모듈이 전체 동작 모델이 아니라 로컬 잠재 동역학 신호만 학습하므로 시연 데이터의 일부만으로도 실용적인 성능 향상을 달성할 수 있음이 확인되었다. MetaWorld에서 시연 데이터의 60~80% 수준으로 성능이 포화되는 경향이 관찰되었고, LIBERO에서 few-shot 파인튜닝 모델에 VLA-Corrector를 더하면 평균 성공률이 94.00%에서 97.80%로 상승해 완전 파인튜닝(96.95%)을 능가하는 결과가 보고되었다.

현실 로봇 평가에서는 AgileX PiPER 6-DoF 팔에 적용해 Pick-and-place, Alignment, Disturbance recovery 세 그룹에서 전체 평균 성공률이 55.6%에서 73.3%로 상승했으며 교란 복구 그룹에서 개선 폭이 가장 컸다. 이러한 실험 결과는 논문이 주장한 감지-중단-보정 체인이 시뮬레이션을 넘어 실제 물리 환경에서도 유의미한 회복력을 제공함을 보여주었다.

전체 아키텍처는 동결된 VLA 백본, 외부 잠재 동역학 보정기 M_phi, 그리고 온라인 모니터 및 OGG 보정 루프로 구성된다. VLA 백본의 시각 인코더 ℰ가 관측 o_t를 잠재 Z_t^{real}로 인코딩하고, M_phi는 입력 (Z_t^{real}, a_t)로부터 k 스텝 후의 잠재 잔차 ΔZ_{t+k}^{exp}를 예측한다. M_phi는 크기 정합과 방향 정렬을 모두 고려하는 손실 L_corr로 학습되며 실험에서 40M 규모의 MLP로 충분한 성능을 보였다.

온라인 검출은 E_t = 1 - CosSim(ΔZ_exp, ΔZ_real)로 정의되며 윈도우 기반의 중앙값 M_e와 MAD를 사용해 T_on/T_off 임계값을 형성한다. 인터럽트 조건은 E_t > T_on가 p연속 스텝 지속될 때로 설정되어 일시적 이상값을 무시하고 지속적 편차만을 포착한다. 인터럽트 발생 시 큐에 남은 행동이 폐기되고 즉시 재계획이 호출되어 적응형 호라이즌 H_adaptive=h < H가 실현된다.

OGG는 플로우 매칭의 속도장 v_tau에 ℒ_OGG = 1 - CosSim(ΔZ_act, ΔZ_corr)를 정의하고 ∇_{v_tau}ℒ_OGG를 η로 스케일해 속도장 업데이트에 반영한다. 후보 청크의 무노이즈 근사 A_hat0와 그 첫 행동 a_hat_t로부터 M_phi가 예측하는 ΔZ_act와, 인터럽트 직전의 안정 예측 ΔZ_exp 및 누적 편차 ΔZ_dev를 통해 ΔZ_corr를 계산한다. 이 방식은 행동 좌표를 직접 변경하지 않고 속도장의 방향을 조정하므로 생성 과정의 연속성과 부드러움을 유지한다.

하이퍼파라미터 민감도에서는 안내 강도 η, 윈도우 크기 w, 연속 검출 스텝 p, 모니터 용량(예: 40M)이 성능에 민감한 변수로 보고되었다. 과도한 안내 강도는 일부 어려운 작업에서 성능 저하를 유발했으나 중간 수준 값과 40M 규모의 모듈은 실험 전반에서 안정적인 성능을 제공했다.

논문에 명시된 제한으로는 외부 모듈이 정상 궤적의 로컬 잠재 동역학을 학습하도록 시연 데이터가 필요하므로 충분한 시연 커버리지가 없으면 모니터의 유효성이 떨어질 수 있다는 점이 있다. OGG의 안내 강도를 지나치게 크게 설정하면 어려운 작업군에서 재계획 품질이 저하되는 현상이 보고되어 안내 강도 튜닝이 요구된다. 또한 내부 보정기로 백본을 수정하는 결합형 접근은 정책 표현에 영향을 주어 오히려 성능을 낮출 수 있어 외부 분리형 설계가 권장된다는 분석적 결과가 제시되었다.