Robbyant가 LingBot-VLA 2.0을 오픈소스로 공개하면서 상대 관절 행동 표현이 성공률을 대폭 향상시킨 사례

커뮤니티 반응은 공개와 아블레이션 수치에 주목하면서 환영하는 분위기와 신중한 해석을 요구하는 목소리가 혼재되어 있다. 많은 댓글이 상대 관절 행동의 단순한 표현 변경이 큰 성능 차이를 낸 사실을 긍정적으로 받아들였고 공개 코드로 독립 검증이 가능하다는 점을 높게 평가했다. 동시에 GM-100이 프로젝트 관련자들이 관여한 자체 벤치마크라는 점과 특정 작업에서의 낮은 성공률이 신뢰도 제한 요소로 지적되며 외부 평가의 필요성이 반복해서 제기되었다.

• 조작 정책을 설계할 때 우선 액션 표현을 현재 관절 대비 델타를 출력하는 상대 관절 행동으로 전환해 성능 변화를 확인할 것을 권장한다. 이 변경은 입력으로 현재 관절값과 원하는 변화량을 사용하고 출력으로 각 관절의 델타값을 생성하는 구조로 구현하면 된다. 아블레이션에서 다른 아키텍처 변경보다 더 큰 효과를 보였으므로 모델 확장 전에 먼저 시도할 가치가 있다.
• 공개된 코드와 가중치를 이용해 자체 하드웨어에서 독립 평가를 수행할 것을 권장한다. GM-100은 내부 벤치이므로 동일 과제와 OOD조건(예: 포즈 교란 ±10cm, 미확인 객체 교체)에서 재현성을 확인하면 실제 성능 한계와 OOD 민감도를 파악할 수 있다.
• 액션 스페이스 설계와 증류 파이프라인을 검토할 때 정형화된 행동 벡터의 인덱스 정렬과 전문가 라우팅 규칙을 우선 점검하라. 정형화된 차원 매핑이 잘못되면 멀티-임베디드 일반화가 깨지고, MoE 라우터 설정과 증류 쿼리(현재/미래)의 손실 조합이 장기 정밀 배치 성능에 직접적인 영향을 미친다.

Relative Joint Actions

— 로봇 조작 정책에서 목표를 절대 좌표 대신 현재 관절 상태 대비 '상대적 관절 동작'으로 표현하는 방식이다. 입력으로 현재 관절값과 원하는 변화량을 사용하며 출력은 각 관절에 대한 델타값으로 정책이 학습된다. 이 방식은 관절 초기화 편차와 다양한 로봇 형태에 대한 일반화를 개선하는 데 중요하다.

Canonical Action Vector

— 여러 로봇 형태를 단일 정책으로 다루기 위해 공통 차원과 의미를 갖는 행동 공간으로 모든 제어 변수를 정렬한 55차원 벡터 설계이다. 팔 관절·엔드이펙터·그립퍼·손·허리·머리·이동 기반을 포함해 다양한 DoF를 같은 인덱스 체계로 표준화한다. 이렇게 하면 단일 정책이 8-DoF 단일팔부터 32-DoF 휴머노이드까지 공통 출력으로 작동할 수 있다.

Token-level MoE

— 행동 시퀀스의 각 토큰(시점 혹은 액션 서브유닛)에 대해 전문가 라우팅을 수행하는 Mixture-of-Experts 구조이다. 입력 토큰별로 라우터가 전문가를 선택하고 선택된 전문가만 계산을 수행해 계산 효율과 전문가 다양성을 확보한다. 로봇 행동생성에서 연속적 제어 신호를 효율적으로 모델링하는 데 사용된다.

Dual-Query Distillation

— 현재 시점과 미래 시점의 두 가지 질의를 사용해 학생 정책을 교사로부터 동시에 증류하는 방식이다. 현재 쿼리로 즉시 행동을 맞추고 미래 쿼리로 장기 행동의 예측을 보정해 장기 계획 성능을 끌어올린다. 이 기법은 롱호라이즌 작업에서 마지막 정밀 배치 실패를 줄이려는 목적과 직접 연결된다.

Egocentric Human Video Pretraining

— 로봇 행동 정책에 인간의 1인칭 시점 비디오를 대규모로 포함해 인간의 조작 패턴과 시각-동작 연관을 학습시키는 사전학습 절차이다. 입력으로 비디오 프레임과 시간적 맥락을 사용해 시각-운동 매핑을 강화하며 총 10,000시간 규모 데이터가 사용된다고 보고됐다. 이는 특히 인간 유사 조작이나 손-도구 상호작용 일반화에 영향을 미친다.