기초에서 응용으로: VLA 모델을 실전 환경에 맞게 개선한 LingBot-VLA 2.0

왜 중요한가

대형 VLA(vision-language-action) 기법은 실험실 성능과 실제 로봇 운용 사이에 큰 간극이 존재하는 문제를 안고 있었고, 이 간극은 데이터 다양성, 행동 공백, 시간적 추론 부족에서 비롯됐다. LingBot-VLA 2.0은 대규모 교정된 로봇 궤적과 1인칭 영상을 결합하고 전신 행동을 표현하며 미래 예측을 학습 목표로 추가함으로써 실환경에서 필요한 일반화와 장기 계획 능력을 동시에 강화했다. 이러한 통합적 개선은 실세계 로봇 응용에서 VLA 기반 정책의 직접적 유용성을 높였다는 점에서 의미가 있다.

핵심 기여

대규모 교정된 로봇 및 에고 영상 코퍼스 구축

약 60,000시간의 사전학습 데이터가 구축되었고 그중 50,000시간은 20종 로봇의 궤적 데이터이며 10,000시간은 고품질 에고센트릭 인간 영상이다. 원시 수집 후 jerk, 속도·가속도의 Z-스코어, 영상-상태 정합성 검증 등의 규칙과 휴먼 애노테이션을 통해 노이즈를 필터링하고 샘플을 선별했다. 이렇게 정제된 데이터는 서로 다른 형상과 시점에서 일관된 행동 학습을 가능하게 했다.

55차원 통일 행동 표현 설계

팔 관절, 엔드이펙터 포즈, 그리퍼, 손관절, 허리·머리 위치, 이동 신호 등 체부별 컴포넌트를 포함하는 55차원 벡터로 이기종 데이터를 표준화했다. 단일 표현은 단일·이중 팔, 손 없는 플랫폼, 에고 영상 등 서로 다른 입력을 패딩으로 처리해 모델 입력을 일관화했다. 이 설계는 교차-엠바디드(pretraining)에서 상태·행동을 공통 공간으로 학습하게 하여 형상 간 전이가 가능해졌다.

액션 전문가 내부에 토큰 수준의 loss-free MoE 아키텍처 도입

action expert의 FFN을 대체하는 희소 MoE 층을 도입해 토큰별로 소수의 라우티드 전문가만 활성화하도록 설계했다. Sigmoid 기반 라우팅 신뢰도와 보정 바이어스 방식의 부하 균형을 사용해 보조 손실 없이 전문가 활용을 조정했고 공유 전문가와 라우티드 전문가를 병치해 일반성과 특수성을 분리했다. 동일한 활성 파라미터 예산에서 MoE는 Dense보다 낮은 학습 손실과 검증 오류를 보여 용량 할당의 효율성을 입증했다.

듀얼-쿼리 증류로 시공간 인지 강화

현재 관찰과 미래 관찰을 각각 타깃으로 하는 두 개의 학습 가능한 쿼리를 도입하고, 깊이 교사(LingBot-Depth)와 인과적 비디오 교사(DINO-Video)에서 추출한 표상으로 쿼리를 지도했다. 깊이 증류는 기하학적 단서를 제공하고 비디오 증류는 과거-현재 인과 정보를 반영한 시간적 표상을 제공해 예측적 동역학 학습을 촉진했다. 이러한 결합은 행동 예측이 미래 장면 전개를 고려하도록 모델을 조건화했다.

실환경 벤치마크와 장기 모바일 조작에서의 실험 검증

GM-100의 9개 이중팔 과제와 두 개의 장기 모바일 조작 과제에서 평가를 수행했고 LingBot-VLA 2.0이 baseline 대비 전반적 향상을 보였다. Agilex 플랫폼에서는 평균 진척도와 성공률이 각각 66.2%·34.4%로 이전 버전과 경쟁 기법보다 우수했고 장기 모바일 조작에서도 ID/OOD 모두에서 더 높은 성공률을 기록했다. 분석에서는 특정 과제에서의 부분적 진행과 최종 정밀 단계 실패, 그리고 플랫폼별 차이가 여전히 남아있음이 관찰되었다.

핵심 아이디어 이해하기

기존 VLA 접근은 시각-언어 기반의 풍부한 표현을 활용해 조작 정책을 학습했지만, 실세계 로봇 운용에서는 데이터의 형상 다양성, 행동 차원, 그리고 시간적 예측 능력의 부족이 일반화의 주된 병목이었다. 단일 포맷의 행동 신호와 제한된 액션 스펙은 다른 로봇 형상으로의 전이를 저해했고, 현재 관찰에만 조건화된 정책은 장기 계획에서 실패하는 경향이 있었다. 본 연구는 이러한 병목을 데이터, 행동 표현, 시간적 학습 목표의 세 축에서 동시에 해소하려고 했다.

방법론

전체 접근은 세 가지 축으로 구성되며 각 축은 서로 보완적이었다. 첫째, 대규모 교정 데이터 파이프라인을 설계해 20개 엠바디먼트에서 수집한 원시 로봇 데이터와 에고센트릭 영상을 필터링·정규화해 60,000시간 규모의 사전학습 코퍼스를 확보했다. 둘째, 액션 예측 능력을 확장하기 위해 action expert 내부의 FFN을 희소 MoE로 교체했고 토큰 수준 라우팅, 공유 전문가와 라우티드 전문가 분리, 보정 바이어스 기반 부하 균형을 적용해 학습 안정성과 전문화 효율을 확보했다. 셋째, 시공간적 인지를 강화하기 위해 현재·미래를 목표로 하는 듀얼-쿼리 구조를 도입하고 깊이 추정기와 인과적 비디오 표현기를 교사로 하여 두 종류의 증류 손실(L1 기반 깊이 손실, Frobenius 기반 비디오 손실)을 동시에 최적화했다. 데이터 전처리 측면에서는 jerk와 속도·가속도 Z-스코어로 궤적의 품질을 평가하고, 에고센트릭 영상은 SLAM과 손 포즈 추정으로 월드 좌표 기반의 연속 손 궤적으로 재구성하여 훈련 시 일관된 행동 표기를 제공했다.

주요 결과

GM-100의 일반적 설정에서 LingBot-VLA 2.0은 Agilex 플랫폼에서 평균 진척도 66.2%와 성공률 34.4%를 기록해 이전 버전 및 비교 기법을 상회했으며 Galaxea 플랫폼에서도 평균 진척도 34.6%와 성공률 15.6%로 개선을 보였다. 장기 모바일 조작 실험에서는 Astribot S1의 냉장고 분류 과제에서 인도메인 77.1%/60.0%를 기록했고 OOD에서는 37.0%/13.3%를 기록해 비교 기법 대비 일관된 우위를 보였다. 추가적인 소거 실험에서 상대적 관절(action target relQpos), MeanStd 정규화, L2 손실이 조합될 때 가장 높은 평균 성공률을 달성했고 액션 공간 선택은 과제 물리 특성과 분포 정렬 정도에 따라 성능 차이를 보였다.

기술 상세

전체 아키텍처는 VLM 백본을 중심으로 이해 전문가(Understanding Expert)와 행동 전문가(Action Expert)를 분리해 구성했으며 행동 전문가는 토큰 수준의 MoE FFN을 포함한 Transformer 블록으로 구성되었다. MoE의 라우팅은 선형 라우터로 라우터 로그릿을 계산한 뒤 Sigmoid 활성화로 토큰별 신뢰도를 구하고 Top-K 선정은 보정 바이어스를 더한 값으로 결정해 부하 균형을 달성했다. MoE 내부의 공유 전문가와 라우티드 전문가는 서로 다른 중간 폭을 사용해 범용 패턴과 특수 패턴을 분리했고 출력은 라우티드 가중합과 공유 전문가 출력을 합한 형태로 잔차 경로에 주입되었다. 듀얼-쿼리 증류는 두 개의 학습 가능한 쿼리 Q_t, Q_{t+T}를 시각·언어 토큰에 추가하고 Proj_depth와 Proj_video 투사 모듈을 통해 각각 LingBot-Depth의 깊이 토큰과 DINO-Video의 패치 수준 표상으로 매칭하는 L1 및 Frobenius 손실을 동시에 최적화해 기하와 시간 예측을 강화했다. 학습 데이터 파이프라인은 원시 90,000시간 로봇 수집에서 시작해 운동학적·통계적 필터(jerk·Z-score·정적 비율), 영상-상태 정합성 검증, 인간 애노테이션 필터링을 거쳐 50,000시간의 고품질 로봇 데이터와 10,000시간의 에고 영상을 확보했고 학습 시에는 55차원 통일 행동 벡터를 사용해 다양한 엠바디먼트를 일관된 입력으로 변환했다.

한계점

저자들은 특정 태스크에서 진척도는 높지만 최종 정확한 배치나 방출 단계에서 실패하는 사례가 잔존한다고 명시했다. 플랫폼별 성능 차이가 존재하며 카메라 시점, 운동학적 제약, 액션 공간 정렬 문제로 인한 이식성 한계가 남아 있다. OOD 설정에서는 성능이 의미 있게 하락했고 특히 동시에 초기 포즈와 조작 대상 카테고리가 변경되는 상황에서 더 큰 성능 저하가 관찰되었다.

실무 활용

사전학습 데이터와 학습 파이프라인, 모델 구현은 공개 저장소를 통해 접근 가능하고 코드·체크포인트가 제공되어 실무 적용이 용이하다. 실세계 로봇에서의 전신 조작과 장기 계획 과제를 대상으로 한 성능 개선은 로봇 물류, 서비스 로봇, 가정용 보조 로봇 등에서 직접 활용 가능성을 시사한다. 다만 특정 플랫폼별 툴체인과 캘리브레이션은 별도로 맞춰야 한다.

다양한 형상의 조작 로봇을 단일 사전학습 정책으로 초기화하고 downstream 미세조정으로 빠르게 적응시키는 전이 학습 파이프라인에 활용할 수 있다.
주행 기반의 장기 작업에서 베이스 이동과 조작을 통합한 정책으로 냉장고 분류, 스토브 청소 같은 복합 시퀀스 작업을 자동화하는 데 적용할 수 있다.
에고센트릭 인간 영상에서 학습한 손 궤적 표상은 인간-로봇 상호작용이나 원격 조작 시스템에서 인간 동작을 모방·보조하는 기능에 활용될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

VLA(vision-language-action)Mixture-of-Experts(MoE 모듈)Dual-Query Distillation(듀얼-쿼리 증류)Egocentric Video(1인칭 영상)GM-100(로봇 조작 벤치마크)Unified Action Representation(통일 행동 표현)

용어 해설

혼합 전문가(MoE)(Mixture-of-Experts (MoE)): — 하나의 레이어에서 여러 '전문가' 네트워크를 두고 입력 토큰마다 일부 전문가만 활성화하여 계산량을 희소하게 사용하는 구조이다. 라우터가 토큰별로 활성화할 전문가를 선택하고 출력은 선택된 전문가들의 가중합으로 형성되며 대규모 용량을 효율적으로 분배하는 데 중요하다. 이 논문에서는 액션 토큰 수준의 MoE를 action expert 내부에 도입해 표현 및 제어 능력을 확장했다.
듀얼 쿼리 증류(Dual-Query Distillation): — 현재 관찰과 미래 관찰을 타깃으로 하는 두 개의 학습 가능한 쿼리를 VLA 모델에 추가하고, 각각을 깊이 추정기와 인과적 비디오 표현기에서 추출한 표상으로 지도학습하는 기법이다. 현재-미래 쌍으로 시공간적 단서를 제공하여 기하학적 인지와 인과적 시간 추론을 동시에 강화한다. 본 논문에서는 LingBot-Depth와 DINO-Video를 교사로 사용해 시간적 예측 능력을 높였다.
통일된 행동 표현(Unified Action Representation): — 서로 다른 로봇 형상과 1인칭 인간 데이터에서 공통으로 사용할 수 있도록 설계한 55차원 표준 행동·상태 벡터이다. 팔 관절, 엔드이펙터, 그리퍼, 손관절, 허리, 머리, 이동 신호 등의 체파트별 필드를 포함해 패딩으로 이질적 차원을 통일한다. 이 표준화는 교차-형체(pretraining)에서 상태와 행동을 일관되게 학습하게 하여 크로스-엠바디드 일반화를 촉진한다.
1인칭 SLAM(Egocentric SLAM): — 착용자 시점의 영상으로부터 프레임별 카메라 포즈를 추정하는 기술로, 손 포즈 추정 결과를 월드 좌표계로 리프팅해 연속적인 손 궤적을 재구성하는 데 사용된다. 본 논문에서는 손 궤적 재구성 단계에서 카메라 외적을 이용해 월드 좌표로 변환하고 품질 기준을 적용해 불안정한 샘플을 제거했다. 이 과정은 이기종 데이터의 표준화와 훈련시 행동 표현의 일관성 확보에 기여한다.

기초에서 응용으로: VLA 모델을 실전 환경에 맞게 개선한 LingBot-VLA 2.0

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

GigaBrain-0.7의 3체계 로봇 지능 확장

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

DYNA Robotics가 공개한 100만 시간 휴먼 데이터 기반의 월드 액션 모델 DYNA-2

GigaBrain-0.7의 3체계 로봇 지능 확장

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.