EventVLA: 장기 Vision-Language-Action 정책을 위한 이벤트 기반 시각 증거 메모리

왜 중요한가

로봇 조작 환경에서는 작업 중간에 잠깐 드러나는 시각 단서가 이후 행동 결정에 필수적일 때가 많다. EventVLA는 이러한 일시적 증거를 예측·선제 저장해 비마르코프성 과제에서 성공률을 크게 향상시킨다.

핵심 기여

Sparse visual evidence memory 아키텍처(EventVLA)

초기 프레임과 짧은 히스토리로 구성된 foundational visual anchors와 상호작용 기반의 동적 Keyframe Evidence Memory(KEM)를 결합해 중복을 줄이면서도 중요한 과거 시각 단서를 보존하는 end-to-end VLA 정책 구조를 제시한다.

KEM: latent embedding으로 미래 keyframe 예측

VLA의 최종 레이어 숨김 상태 h_t를 입력으로 하는 가벼운 MLP 헤드가 미래 H 스텝에 대한 키프레임 확률 벡터 p̂_t를 예측한다. p̂_t에서 임계값 τ_commit을 넘는 시점을 원시 이미지로 동적 커밋하며, FIFO와 1D NMS로 버퍼를 관리한다.

자동 라벨링 파이프라인(Qwen3-VL)과 학습 전략

데모에서 Qwen3-VL 기반 자동화로 키프레임 정답 시점을 추출해 temporally smoothed soft labels로 sequence-averaged BCE 손실 L_kem을 학습한다. 전체 손실은 L = L_action + λ L_kem이고, teacher-to-student 커리큘럼으로 자율적 메모리 구축으로 전환한다.

RoboTwin-MeM 진단 벤치마크

RoboTwin 2.0 기반으로 개발된 RoboTwin-MeM은 각 태스크에 필요한 중간 이벤트 개수 n(1~5)을 명시해 진정한 비마르코프성 과제를 생성한다. 에피소드 길이는 평균 430~1544 스텝으로 장기 기억 요구를 체계적으로 평가한다.

광범위한 실험적 성능 개선

17개 시뮬레이션 과제 및 4개 실세계 이중팔 과제에서 EventVLA는 기존 메모리 보강 VLA 대비 평균 +40% 향상을 보고했다. RoboTwin-MeM에서는 EventVLA(VA+KEM)가 75.2% 성공률을 기록했다.

핵심 아이디어 이해하기

출발점과 기존 한계: 많은 Vision-Language-Action(VLA) 정책은 현재 관찰 o_t과 언어 l만으로 행동을 예측하는 Markovian 가정을 따른다( a_t = π(o_t,l) ). 이 접근은 현재 관찰에 필요한 정보가 항상 시각적으로 관측 가능할 때는 유효하지만, 작업 중간에 잠깐만 드러나고 이후 완전히 가려지는 transient evidence가 존재하는 비마르코프성 조작 과제에서는 실패한다. 기존 메모리 대안은(1) dual-system으로 인한 지연과 오류 전파, (2) recurrent 압축으로 인한 정보 병목, (3) 무선택적 버퍼로 인한 중복 누적이라는 문제를 갖는다.

방법론

전체 접근과 핵심 아이디어: EventVLA는 M_t = A_t ∪ E_t 구조로 메모리를 구성한다. A_t는 deterministic한 visual anchors(초기 프레임 o_0와 짧은 과거 o_{t-K}…o_{t-1})로 전역 레이아웃과 최근 동작 단서를 보존한다. E_t는 Keyframe Evidence Memory(KEM)를 통해 동적으로 커밋되는 event keyframes로, 상호작용으로 발생하는 일시적 증거를 보존한다. 입력 시퀀스 I_input = concatenate([A_t, E_{t-1}, o_t])가 VLM의 비전 인코더로 들어간다.

주요 결과

메인 벤치마크 결과: RMBench에서 foundational visual anchors만 사용한 EventVLA(VA only)는 평균 67.8%를 기록해 SOTA 성능을 달성했다(Table 1). RoboTwin-MeM에서는 VA only가 18.0%에 그쳤고, VA+KEM(full EventVLA)는 75.2%를 기록해 큰 폭의 성능 향상을 보였다(Table 2). 실세계 ARX ACONE 이중팔 실험에서 EventVLA는 네 과제에서 각각 90%, 60%, 90%, 75%의 성공률을 기록했다(20회 시험).

기술 상세

아키텍처 구조: 기본 VLA 백본(QwenOFT 기반)을 사용해 prefix tokens와 action tokens를 생성하고, action head와 병렬로 keyframe head(KEM MLP)를 운영한다. KEM는 VLA의 최종 레이어 숨김 행렬 h_t ∈ ℝ^{H×d}를 입력으로 받아 sigmoid를 적용한 확률 벡터 p̂_t ∈ [0,1]^H를 출력한다(식 3). p̂_t의 각 원소 p̂_t^i는 미래 i번째 스텝이 task-critical keyframe일 확률이다.

한계점

논문에서 명시한 한계: 고사건 밀도 또는 매우 장시간(예: >10분) 실행에서는 고정된 용량 N_max의 이벤트 버퍼가 포화되어 초기 핵심 증거가 조기 제거될 위험이 있다. 논문은 이 경우 계층적 메모리 또는 압축 표현을 통한 확장 필요성을 언급한다.

실무 활용

EventVLA는 일시적으로 관측되는 시각적 단서가 향후 행동에 결정적인 장기 조작 작업에 적용 가능하다. 공개된 코드를 통해 실제 로봇 시스템에 통합해 비마르코프성 작업에서 성능 향상을 기대할 수 있다.

피킹·플레이스 작업에서 가려진 물체의 일시적 노출 정보를 보존해 후속 동작을 정확히 수행
카운팅/순서 재현 과제(예: 표시된 횟수만큼 조작)에서 중간 이벤트를 기록해 논리적 제어 유지
양팔 로봇의 협업 조작에서 임시로 보이는 키프레임을 보존해 긴 실행 시퀀스 안정화
현장 테스트 데이터가 풍부한 시뮬레이션-실물 전이 파이프라인에서 자동 라벨링을 활용한 데이터 생성

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision-Language-Action(비전-언어-액션 정책)Keyframe Evidence Memory(키프레임 증거 메모리)visual anchors(시각 앵커)non-Markovian manipulation(비마르코프성 조작 과제)RoboTwin-MeM(진단 벤치마크)

용어 해설

시각 앵커(Visual Anchors): — 초기 프레임과 짧은 시간 창의 과거 프레임을 고정적으로 보관하는 규칙 기반 메커니즘이다. 이 구성은 장기 조작에서 전역 레이아웃(초기 프레임)과 최근 동작 단서(짧은 히스토리)를 유지하여 많은 구조적으로 단순한 메모리 요구 과제를 해결한다. 그러나 일시적 상호작용으로 발생하는 transient evidence는 포착하지 못한다.
키프레임 증거 메모리(Keyframe Evidence Memory): — VLA의 최종 레이어 잠재 임베딩 h_t를 입력으로 받아 향후 실행 구간 H에 대한 키프레임 확률 벡터 p̂_t를 예측하는 가벼운 병렬 헤드이다. p̂_t에서 특정 인덱스가 τ_commit을 넘으면 그 시점의 원시 이미지를 메모리에 동적 커밋한다. FIFO와 NMS로 버퍼를 관리해 중복을 줄인다.
비마르코프성(Non-Markovian): — 현재 관찰만으로 올바른 행동 결정을 내리기 어려운 상황을 의미한다. 예컨대 작업 중간에 잠깐 드러난 정보가 이후에 결정적일 때 발생하며, 이러한 일시적 단서를 보존하지 않으면 표준 Markov 정책 π(o_t,l)로는 성공률 저하가 발생한다.
청크 단위 예측(Chunk-wise Prediction): — 단일 미래 스텝 분류기가 놓칠 수 있는 중간 이벤트를 포착하기 위해 여러 미래 스텝(H)을 묶어 확률 벡터를 예측하는 접근이다. 입력은 h_t이고 KEM MLP를 거쳐 sigmoid로 H차원 확률 벡터를 얻는다. 이를 통해 메모리 쓰기 일정을 미리 계획한다.

EventVLA: 장기 Vision-Language-Action 정책을 위한 이벤트 기반 시각 증거 메모리

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드