Robbyant가 LingBot-VLA 2.0을 오픈소스로 공개하면서 상대 관절 행동 표현이 성공률을 대폭 향상시킨 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 게시물은 Robbyant가 LingBot-VLA 2.0을 오픈소스로 공개하면서 행동 표현 설계가 전체 성능에 결정적 영향을 미쳤음을 강조하고 있다. 보고서의 핵심 수치는 절대 목표 대신 상대 관절 행동을 출력하도록 정책을 바꾸자 평균 성공률이 33.7%에서 55.0%로 21.3포인트 상승한 점이며 이 단일 변경이 다른 아키텍처 개선보다 더 큰 효과를 냈다. 시스템은 55차원 정형화 행동 벡터, 약 60,000시간의 사전학습 데이터, 토큰 수준 MoE와 이중 질의 증류를 결합했으나 자체 벤치 GM-100에서 일부 작업의 성공률은 낮고 OOD 민감성도 확인되어 독립적인 재현과 외부 평가가 필요하다.

실용적 조언

조작 정책을 설계할 때 우선 액션 표현을 현재 관절 대비 델타를 출력하는 상대 관절 행동으로 전환해 성능 변화를 확인할 것을 권장한다. 이 변경은 입력으로 현재 관절값과 원하는 변화량을 사용하고 출력으로 각 관절의 델타값을 생성하는 구조로 구현하면 된다. 아블레이션에서 다른 아키텍처 변경보다 더 큰 효과를 보였으므로 모델 확장 전에 먼저 시도할 가치가 있다.
공개된 코드와 가중치를 이용해 자체 하드웨어에서 독립 평가를 수행할 것을 권장한다. GM-100은 내부 벤치이므로 동일 과제와 OOD조건(예: 포즈 교란 ±10cm, 미확인 객체 교체)에서 재현성을 확인하면 실제 성능 한계와 OOD 민감도를 파악할 수 있다.
액션 스페이스 설계와 증류 파이프라인을 검토할 때 정형화된 행동 벡터의 인덱스 정렬과 전문가 라우팅 규칙을 우선 점검하라. 정형화된 차원 매핑이 잘못되면 멀티-임베디드 일반화가 깨지고, MoE 라우터 설정과 증류 쿼리(현재/미래)의 손실 조합이 장기 정밀 배치 성능에 직접적인 영향을 미친다.

섹션별 상세

Robbyant의 핵심 발견은 절대 목표 위치를 직접 출력하던 정책에서 현재 관절 상태 대비 상대적 관절 동작을 출력하는 방식으로 전환했을 때 평균 성공률이 33.7에서 55.0으로 21.3포인트 상승한 점이다. 이 전환은 입력으로 현재 관절값과 목표 변화량을 사용해 출력으로 각 관절의 델타값을 생성하는 방식으로 작동하며, 저자는 아블레이션에서 이 단일 변경이 다른 아키텍처 개선보다 더 큰 영향을 미쳤다고 보고했다. 이 수치는 조작 정책을 설계할 때 먼저 행동 표현을 바꾸는 것이 모델 규모를 키우거나 복잡한 모듈을 추가하는 것보다 우선순위가 될 수 있음을 시사한다.

LingBot-VLA 2.0은 하나의 정형화된 55차원 전체-신체 행동 벡터를 사용해 팔 관절·엔드이펙터·그립퍼·12차원 수작업·허리·머리·이동 기반 등 서로 다른 DoF를 표준화했고 단일 정책을 20개의 로봇 구현체에 걸쳐 공동학습했다. 이 설계는 입력 상태를 공통 표현으로 정규화하고 출력 차원을 고정해 작은 로봇부터 인간형 로봇까지 같은 액션 인덱스 체계로 제어 신호를 내보내는 방식으로 작동한다. 리포트에는 8-DoF 단일 팔부터 32-DoF 휴머노이드까지 적용한 구현 세부가 포함되어 있어 멀티-임베디드 일반화 관점에서 유의미한 아키텍처 선택임이 나타났다.

사전학습 데이터 구성은 총 약 60,000시간으로, 그중 50,000시간은 20개 로봇의 실제 주행 궤적이었고 10,000시간은 1인칭 인간 동영상이었다. 이 데이터는 정책을 초기화할 때 시각-행동 매핑과 다양한 로봇 형태의 행동 패턴을 동시 학습하는 데 사용되었으며 보고서는 대규모 시계열 데이터가 장기적 행동 예측과 부분적 진행에 기여한다고 제시했다. 공개된 레포와 오픈된 웨이트를 통해 동일 설정으로 재현 가능한 실험을 수행할 수 있다.

모델구성 측면에서는 토큰 수준 Mixture-of-Experts 라우팅과 이중 질의 증류를 도입해 계산 효율과 장기 예측을 조합했다. 토큰 수준 MoE는 각 행동 토큰별로 전문가를 선택해 연산 비용을 절감하고 다양한 행동 모드를 캡처하며, 이중 질의 증류는 현재 및 미래 쿼리를 동시에 증류해 장기 의사결정의 일관성을 강화하는 방식으로 동작한다. 이러한 구성은 보고된 정밀 배치 실패와 장기 호라이즌 문제를 일부 완화하는 의도로 설계되었으나 아블레이션에서는 행동 표현 변경의 영향이 더 컸다.

평가 결과는 자체 벤치마크 GM-100에서 공개되었고 일부 지표는 실질적 향상을 보였으나 성공률이 진행도(progress) 대비 낮게 나타나 장기 정밀 배치에서 약한 면모가 드러났다. 예로 Galaxea에서 성공률은 전체 15.6%에 그쳤고 OOD 시험에서 냉장고 분류 작업의 성공률이 인도메인 60.0%에서 13.3%로 급락하는 등 외곡에 민감한 결과가 보고되었다. 저자들이 벤치마크 공동저자로 참여했고 GM-100이 내부 벤치인 점을 감안해 외부 독립 재현이 가치가 높으며 코드와 가중치는 공개되어 있어 직접 검증이 가능하다는 결론이 도출된다.

용어 해설

상대 관절 행동(Relative Joint Actions): — 로봇 조작 정책에서 목표를 절대 좌표 대신 현재 관절 상태 대비 '상대적 관절 동작'으로 표현하는 방식이다. 입력으로 현재 관절값과 원하는 변화량을 사용하며 출력은 각 관절에 대한 델타값으로 정책이 학습된다. 이 방식은 관절 초기화 편차와 다양한 로봇 형태에 대한 일반화를 개선하는 데 중요하다.
정형화된 행동 벡터(Canonical Action Vector): — 여러 로봇 형태를 단일 정책으로 다루기 위해 공통 차원과 의미를 갖는 행동 공간으로 모든 제어 변수를 정렬한 55차원 벡터 설계이다. 팔 관절·엔드이펙터·그립퍼·손·허리·머리·이동 기반을 포함해 다양한 DoF를 같은 인덱스 체계로 표준화한다. 이렇게 하면 단일 정책이 8-DoF 단일팔부터 32-DoF 휴머노이드까지 공통 출력으로 작동할 수 있다.
토큰 수준 MoE(Token-level MoE): — 행동 시퀀스의 각 토큰(시점 혹은 액션 서브유닛)에 대해 전문가 라우팅을 수행하는 Mixture-of-Experts 구조이다. 입력 토큰별로 라우터가 전문가를 선택하고 선택된 전문가만 계산을 수행해 계산 효율과 전문가 다양성을 확보한다. 로봇 행동생성에서 연속적 제어 신호를 효율적으로 모델링하는 데 사용된다.
이중 질의 증류(Dual-Query Distillation): — 현재 시점과 미래 시점의 두 가지 질의를 사용해 학생 정책을 교사로부터 동시에 증류하는 방식이다. 현재 쿼리로 즉시 행동을 맞추고 미래 쿼리로 장기 행동의 예측을 보정해 장기 계획 성능을 끌어올린다. 이 기법은 롱호라이즌 작업에서 마지막 정밀 배치 실패를 줄이려는 목적과 직접 연결된다.
1인칭 인간 동영상 사전학습(Egocentric Human Video Pretraining): — 로봇 행동 정책에 인간의 1인칭 시점 비디오를 대규모로 포함해 인간의 조작 패턴과 시각-동작 연관을 학습시키는 사전학습 절차이다. 입력으로 비디오 프레임과 시간적 맥락을 사용해 시각-운동 매핑을 강화하며 총 10,000시간 규모 데이터가 사용된다고 보고됐다. 이는 특히 인간 유사 조작이나 손-도구 상호작용 일반화에 영향을 미친다.

언급된 도구

GitHub (Robbyant org)추천

코드와 모델 가중치 공개 저장소

HuggingFace (Robbyant org)추천

모델 가중치 및 관련 아티팩트 배포

DINO-Video중립

인과적 비디오 교사 모델로 동영상 기반 행동 증류에 사용된 교사 네트워크