LARY: 일반화 가능한 시각-행동 정렬을 위한 잠재 행동 표현 생성 벤치마크

로봇 학습을 위한 행동 라벨링 데이터 부족 문제를 해결하기 위해 인간의 행동 비디오를 활용하는 연구가 활발하다. 이 논문은 시각 정보를 '잠재 행동'으로 변환하는 기술의 품질을 고수준 의미 이해와 저수준 물리 제어 관점에서 정밀하게 평가할 수 있는 통합 벤치마크를 제공하여 로봇 파운데이션 모델의 발전 방향을 제시한다.

로봇이 비디오를 보고 동작을 배우려면 시각적 변화를 '행동'이라는 추상적인 개념으로 변환해야 한다. 기존에는 이를 위해 비디오 프레임 간의 차이를 토큰화하는 Latent Action Model(LAM)을 사용했지만, 이 모델들이 실제로 로봇 제어에 필요한 물리적 세부 사항이나 고차원적인 의도를 얼마나 잘 담고 있는지는 불분명했다.

이 논문은 딥러닝의 Embedding 개념을 활용하여 시각적 특징이 행동 공간으로 매핑되는 과정을 두 단계로 나누어 분석한다. 첫째는 '무엇을 할 것인가'에 해당하는 Semantic Understanding으로, 추출된 특징 벡터가 행동의 종류를 얼마나 잘 분류하는지 확인한다. 둘째는 '어떻게 할 것인가'에 해당하는 Physical Control로, 특징 벡터로부터 로봇 팔의 실제 이동 궤적(Trajectory)을 복원할 수 있는지 측정한다.

실험 결과, 로봇 데이터로만 좁게 학습된 모델보다 인터넷의 방대한 이미지를 스스로 학습한 범용 모델이 오히려 더 정교한 행동 특징을 포착하고 있었다. 이는 대규모 시각 데이터 학습 과정에서 객체의 물리적 관계와 변화 양상에 대한 보편적인 이해가 자연스럽게 형성되었음을 의미하며, 향후 로봇 모델 설계 시 범용 시각 지식을 활용하는 것이 더 효과적임을 시사한다.

LARY 벤치마크는 시각 관측값 시퀀스 o1:T를 입력받아 잠재 표현 z를 추출하고, 이를 두 가지 하위 작업으로 평가한다. 첫 번째는 fsem: Z → C로 정의되는 의미론적 디코딩 작업이며, 두 번째는 fdyn: Z → A로 정의되는 물리적 제어 회귀 작업이다. [시각 특징 벡터 z를 입력으로] → [4개 층의 Attentive Probe 또는 MLP 기반 Action Expert 연산을 수행해] → [행동 클래스 또는 말단 장치의 좌표값을 얻고] → [이 값이 실제 정답과 얼마나 일치하는지 정확도와 MSE로 평가한다.]

데이터 큐레이션을 위해 자동화된 데이터 엔진을 개발했다. Doubao-1.5-pro-vision API를 활용하여 원본 비디오를 의미 단위로 분할(Action Segmentation)하고, 시각적 내용과 텍스트 설명이 일치하는지 검증(Video-Description Matching)하며, 시점의 일관성을 확인하는 다단계 필터링 과정을 거친다. 이를 통해 11개의 로봇 플랫폼과 인간의 데이터를 통합한 1.2M 규모의 데이터셋을 정제했다.

학습 전략 측면에서는 Feature-Level Latent Action Model을 제안한다. 기존의 픽셀 단위 입력 대신 DINOv2, DINOv3, SigLIP 2와 같은 사전 훈련된 비전 백본의 특징 맵을 입력으로 사용한다. [고차원 이미지 특징을 입력으로] → [VQ-VAE 구조의 인코더와 양자화 과정을 거쳐] → [잠재 행동 토큰을 생성하고] → [이를 다시 원래의 시각 특징으로 복원하는 손실 함수를 통해 학습한다.]

실험 결과, V-JEPA 2와 같은 범용 시각 인코더가 행동 분류 정확도에서 76.62%를 기록하며 가장 우수한 성능을 보였다. 이는 로봇 전용 모델인 LAPA(20.17%)나 UniVLA(17.99%)를 압도하는 수치다. 특히 인간의 복합 행동 분류에서 범용 모델은 80% 이상의 정확도를 보였으나, 로봇 전용 모델은 20% 미만에 머물러 일반화 성능의 한계를 드러냈다.

저수준 제어 회귀 실험에서도 DINOv3가 0.19 MSE를 기록하며 가장 정밀한 궤적 복원 능력을 보였다. 반면 픽셀 재구성 기반의 생성 모델인 Wan2.2나 FLUX.2-dev는 시각적 품질은 높지만 물리적 제어에 필요한 특징 보존 능력은 상대적으로 낮게 나타났다. 이는 시각적 재구성 성능이 반드시 행동 제어 성능과 비례하지 않음을 보여준다.

Ablation Study를 통해 코드북 크기(Codebook Size)와 시퀀스 길이(Sequence Length)의 영향을 분석했다. 코드북 크기가 64일 때 가장 안정적인 활용도를 보였으며, 시퀀스 길이가 길어질수록 시간적 다양성을 더 잘 포착하여 분류 성능이 향상되는 경향을 확인했다. 또한 잠재 차원이 256일 때 용량과 안정성 사이의 최적의 균형을 이루는 것으로 나타났다.

LARYBench는 Latent Action Representation의 품질을 하위 정책 성능과 분리하여 독립적으로 평가할 수 있도록 설계되었다. 이는 VLA 모델의 병목 지점이 시각 인코더인지, 행동 토큰화 과정인지, 혹은 정책 네트워크인지를 명확히 진단할 수 있게 한다.

모델 아키텍처 측면에서 General LAMs는 고정된(frozen) 범용 비전 백본 위에 VQ-VAE 구조를 결합한 형태를 취한다. 이때 재구성 대상(reconstruction target)을 원본 픽셀이 아닌 비전 백본의 고수준 특징(feature)으로 설정함으로써, 모델이 불필요한 배경 정보 대신 행동과 관련된 핵심적인 시각적 변화에 집중하도록 유도한다.

Cross-Embodiment 분석을 통해 인간 데이터로 학습된 범용 모델이 로봇 도메인으로 전이될 때 발생하는 형태학적 차이(Morphological Gap)를 고찰했다. DINOv3와 같은 모델은 인간과 로봇 도메인 모두에서 균형 잡힌 성능을 보여 도메인 불가지론적(domain-agnostic) 이해 능력을 입증한 반면, 로봇 전용 모델은 데이터 불균형으로 인해 특정 로봇 동작에 편향된 결과를 보였다.

General LAMs가 인간 행동에 대해서는 높은 정확도를 보이지만, 로봇 행동에 대해서는 데이터 규모와 다양성의 한계로 인해 성능 저하가 발생한다. 또한 현재의 잠재 행동 공간이 아주 미세한 손가락 움직임과 같은 정밀한 조작(fine-grained manipulation)까지 완벽하게 캡처하는 데는 여전히 어려움이 있다.