Show-Harness로 VLM을 로봇 제어에 연결

왜 중요한가

기존 VLA는 특정 embodiment의 연속 제어 신호를 학습하면서 VLM의 넓은 의미 지식과 로봇 실행을 강하게 결합해야 했습니다. Show-Harness는 VLM이 이해하는 이산 semantic action과 로봇별 저수준 제어를 분리해, 폐쇄형 frontier VLM의 제로샷 제어와 소형 오픈소스 VLM의 저비용 적응을 같은 인터페이스에서 처리합니다. 실제 실험에서는 작업·환경·로봇 embodiment 변화와 sim-to-real 조건에서 대표 VLA 및 agentic 기준선보다 높은 성능을 기록했습니다.

핵심 기여

VLM과 로봇을 위한 semantic action 인터페이스

MV_FWD, MV_BACK, MV_LEFT, MV_RIGHT, MV_UP, MV_DOWN, ROTATE_CW, ROTATE_CCW, GRASP, RELEASE, DONE으로 구성된 이산 행동 단위를 정의하고, 각 단위가 한 번의 작고 해석 가능한 이동 또는 gripper 동작을 지정하도록 구성했습니다.

하나의 인터페이스에서 제로샷과 Fine-tuning 지원

Gemini-3.1 Pro 같은 폐쇄형 frontier VLM은 추가 Fine-tuning 없이 제어하고, Qwen3.5-2B 같은 소형 오픈소스 VLM은 몇 시간의 GPU 학습으로 같은 semantic action을 예측하도록 적응시켰습니다.

로봇별 결정적 실행과 안전 제한

Franka의 Cartesian impedance control, AgileX의 inverse kinematics와 streamed joint targets, simulator의 operational-space command를 각 interpreter에 격리했습니다. 작업공간과 테이블 높이, 이동·회전 한계를 넘는 행동은 실행 전에 차단합니다.

GUMI 기반의 GUI 시연 수집

GUMI는 키보드, browser interface, computer-use agent가 동일한 semantic action을 선택하도록 해 특수 teleoperation hardware 없이 시연을 수집합니다. 한 시연에서 semantic-action 데이터와 연속 제어 궤적을 함께 보존할 수 있습니다.

핵심 아이디어 이해하기

VLM은 객체와 공간 관계를 이해하고 긴 지시를 여러 단계로 나눌 수 있지만, 그 지식을 특정 로봇의 관절 명령으로 직접 변환하면 새로운 로봇마다 다시 학습해야 합니다. 반대로 VLM이 높은 수준의 목표만 말하면 실제로 어느 방향으로 얼마만큼 움직일지는 별도 controller가 결정해 모델의 물리적 판단이 약해집니다. Show-Harness는 이 사이에 MV_FWD나 GRASP처럼 의미를 읽을 수 있으면서 한 번의 작은 동작을 지정하는 행동 공간을 둡니다. VLM은 현재 다중 시점 영상, proprioception, 짧은 행동 이력을 입력받아 다음 단위를 고르고, embodiment-specific interpreter는 그 단위를 좌표계와 안전 한계에 맞춘 로봇 명령으로 바꿉니다. 실행 뒤 바뀐 영상과 상태가 다시 입력되므로 모델은 큰 궤적을 한 번에 회귀하지 않고 매 단계의 결과를 확인하며 보정합니다. 이 구조 덕분에 이동량을 2 cm에서 1 cm로 바꾸거나, 회전 단위를 반복해 학습에 없던 방향을 처리하는 변화가 모델 재학습 없이 interpreter 설정으로 가능합니다.

관련 Figure

Diagram
왼쪽의 planner와 semantic action unit은 VLM의 의미 판단을 나타내고, 중앙의 인터페이스는 행동 단위를 GUMI browser 조작과 연결합니다. 오른쪽의 Safety Limits와 Step Size는 모델 출력과 실제 로봇 사이에서 실행 범위를 제한하며, 이 구조가 VLM·사람·서로 다른 로봇 embodiment가 공유하는 제어 경로임을 나타냅니다.
VLM이 MV_RIGHT, MV_FWD, MV_UP, ROTATE_CW, ROTATE_CCW, GRASP, RELEASE 같은 semantic action을 선택하고, Action Interpreter를 거쳐 Franka·AgileX 등 로봇으로 전달되는 전체 구조를 나타냅니다.

방법론

각 단계에서 언어 지시, 다중 시점 영상, 로봇 proprioceptive state, 짧은 상호작용 이력을 perception·reasoning plugin으로 정리한 뒤 VLM이 semantic action 하나를 선택합니다. 선택된 단위는 로봇의 현재 pose setpoint에 translation 또는 rotation increment를 적용하고, embodiment별 projection이 작업공간과 단계별 한계를 검사한 다음 실행합니다. 이동 단위는 기준 view에 대한 전후·좌우·상하 방향을 따르고, 회전 단위는 x·y·z 축의 시계·반시계 회전을 사용하며, GRASP와 RELEASE는 gripper 명령으로 직접 연결됩니다. Franka는 Cartesian setpoint를 impedance control로 추적하고 AgileX는 inverse kinematics와 streamed joint targets를 사용하지만 VLM 쪽 행동 어휘는 동일합니다. Subtask Planning은 지시를 완료 조건이 있는 순서로 나누고, Situated Planning은 아직 관측할 수 없는 분기를 실행 중으로 미룹니다. Action Chunking은 목표가 멀 때 여러 단위를 묶고, Adaptive Step은 손목 view에서 목표가 보이는지에 따라 기본 4 cm coarse step과 2 cm fine step을 전환합니다. Action History와 Failure Recovery는 반대 방향 반복과 빈 gripper 상태를 감지해 재시도하도록 합니다. Fine-tuning 모드에서는 Qwen3.5-2B에 rank-64 LoRA를 적용해 약 3%의 파라미터만 갱신하고, semantic action을 별도 action head가 아니라 VLM의 native vocabulary로 예측합니다.

관련 Figure

Diagram
그림은 Franka 실험에서 exocentric·wrist view를 함께 사용하고, 두 카메라의 영상이 물체 위치와 gripper 정렬에 활용되는 센서 구성을 나타냅니다. 작업공간 안에는 흰색 받침과 주황색 블록이 배치되어 있어 semantic action이 실제 Cartesian 이동과 grasp로 이어지는 평가 장면을 확인할 수 있습니다.
Franka Research 3 로봇, 상부 카메라와 손목 카메라, 그리고 물체를 놓는 작업공간의 배치를 표시합니다.

Diagram
양팔 사이의 중앙 카메라와 각 손목 카메라는 공유 장면과 개별 조작 부위를 동시에 관측하도록 배치되어 있습니다. 이 구성은 tidy the table과 pass the banana처럼 두 팔의 행동을 공동으로 예측하고 충돌을 피해야 하는 multi-arm coordination 평가와 직접 연결됩니다.
AgileX 양팔 로봇과 양쪽 손목 및 중앙 카메라가 작업공간을 관측하는 구성을 나타냅니다.

주요 결과

실험은 7-DoF Franka Research 3와 양팔 6-DoF AgileX에서 블록, 바나나, 테니스공, teddy bear, 체스 말과 plate·bowl 조합 10개 작업으로 진행했으며, 기본 조건은 작업당 10회 평가와 최대 50 steps였습니다. 시연은 실제 로봇 164개 episode, 7.8K decision steps로 수집했고, Fine-tuned 모델과 VLA 기준선이 함께 사용했습니다. Show-Harness의 zero-shot 모드와 Qwen3.5-2B Fine-tuned 모드는 작업·배경·조명·시점·방해물·sim-to-real·embodiment 변화 전반에서 대표 VLA 및 agentic 기준선보다 높은 성능을 기록했습니다. 세부적으로 2 cm step을 1 cm로 줄이면 zero-shot 성공률이 60%에서 82%, Fine-tuned 모델이 40%에서 65%로 상승했으며, 같은 시연을 사용한 π₀.₅는 18%에 머물렀습니다. 학습에 없던 90° 당근 방향에서도 Fine-tuned 모델은 70%를 기록한 반면 π₀.₅는 20%였습니다. Situated Planning을 사용한 zero-shot 모델은 컵 아래 숨은 블록 찾기와 SHOW 글자 배열에서 85%를 기록했고, 영상 시연으로 순서를 학습한 조건에서는 두 시연 출처 모두 20/20 성공을 기록했습니다. Plugin 분석에서는 Visual Prompt가 손잡이 인식 grasp를 40%에서 85%로, Situated Planning이 숨은 물체 탐색을 35%에서 85%로 높였습니다.

관련 Figure

Infographic
이 그림은 Show-Harness가 단순 pick-and-place뿐 아니라 변형 물체, 양팔 동작, 공간 추론, 도구 사용을 같은 semantic action 체계로 처리하는 범위를 묶어 제시합니다. 하단 그래프에서는 Gemini 3.1 Pro, Claude Opus 4, GPT 5.6 Sol 같은 frontier VLM보다 Fine-tuning한 Gemma 4 E4B, Qwen3.5 4B·2B, InternVL3.5 1B가 더 높은 inference speed 영역에 위치하며, 각 모델의 Task SR과 Hz를 함께 비교합니다.
상단에는 단어 지우기, 천 접기, 케이크 자르기, 펜·연필꽂이 조작, 컵 아래 블록 탐색과 테이블 정리 사례가 배치되어 있고 하단에는 Task SR과 Inference Speed 비교가 표시되어 있습니다.

Chart
그래프는 step size를 2 cm에서 1 cm로 줄였을 때의 정밀 제어, 학습에 없던 90° 회전, 행동 조합, 작업공간 확장, 양팔 공동 제어, 숨은 물체·문자 배열 추론, 영상 기반 순서 학습을 분리해 평가합니다. 표시된 수치에는 정밀 제어의 zero-shot 60%→80%와 Fine-tuning 40%→65%, reasoning-intensive task의 zero-shot 85%, 영상 조건의 zero-shot 100%가 포함되어 있어 physical adaptability와 semantic adaptability를 함께 비교합니다.
Fine-grained Control, Rotation Extrapolation, Action Composition, Workspace Shift, Multi-arm Coordination, Reasoning-intensive Tasks, In-context Learning의 성공률 막대그래프를 모은 결과 그림입니다.

기술 상세

Show-Harness의 핵심 loop는 관측 구성, semantic action 선택, embodiment grounding, 실행 피드백의 순서로 동작합니다. 논문은 관측을 다중 시점 영상과 proprioceptive state의 쌍으로 두고, 언어 지시와 이력을 함께 reasoning context로 변환한 뒤 policy가 행동 집합에서 하나를 선택하도록 정의합니다. Interpreter는 현재 6-DoF Cartesian pose의 위치와 방향을 semantic translation·rotation 벡터에 calibrated increment로 더하고, 로봇별 좌표 변환과 projection을 적용해 유효한 setpoint를 생성합니다. 위치 벡터는 3차원 좌표이며 방향은 3차원 회전 상태이고, translation 행동에서는 rotation 항을 0으로, rotation 행동에서는 translation 항을 0으로 둡니다. 따라서 입력은 semantic direction과 현재 pose, 처리 과정은 좌표계 변환·증분 적용·안전 projection, 출력은 로봇이 실행할 pose setpoint 또는 gripper 명령입니다. 예를 들어 target이 손목 view에서 보이면 2 cm fine step을 사용하고, 멀리 있으면 4 cm coarse step으로 이동한 뒤 다시 관측해 정밀도를 높입니다. 새 embodiment는 동일한 semantic action을 해당 로봇의 low-level controller로 바꾸는 interpreter만 추가하면 됩니다. Fine-tuning 모드의 손실은 시연 데이터 각 입력에서 정답 semantic action의 로그 확률을 합산해 최소화하는 token-level cross-entropy이며, 입력은 지시·영상·짧은 이력, 출력은 다음 행동 단위입니다. 이때 별도 action head나 special token 없이 native vocabulary를 사용하고, vision encoder와 multimodal projector는 고정한 채 language-model linear layers에 rank-64 LoRA를 삽입합니다. Harness plugin은 다중 시점 안내, proprioception 텍스트화, subtask·situated planning, action chunking, adaptive step, visual prompt, action history, failure recovery로 나뉘며, 각각 공간 인식, 단계 선택, 호출 횟수, 세밀한 정렬, 실패 후 재계획을 보완합니다.

한계점

현재 평가는 주로 parallel-jaw gripper를 사용하는 single-arm 및 dual-arm manipulation에 한정되어 있습니다. 논문은 humanoid나 dexterous hand처럼 더 복잡한 embodiment로의 확장과 tactile·force feedback 같은 추가 감각의 활용을 후속 과제로 남깁니다.

실무 활용

Show-Harness는 동일한 semantic action 공간을 이용해 frontier VLM의 제로샷 로봇 제어, 소형 VLM의 Fine-tuning, 사람·agent의 GUI 시연 수집을 하나의 흐름으로 묶습니다. 로봇이 바뀔 때 VLM 정책 전체를 다시 설계하지 않고 embodiment-specific interpreter만 교체하는 구조라서 다중 로봇 실험과 시뮬레이션 시연의 재사용에 적합합니다.

Franka와 AgileX처럼 제어 방식이 다른 로봇에 같은 VLM 행동 인터페이스 적용
특수 teleoperation hardware 없이 GUMI의 키보드·GUI로 로봇 시연 수집
시뮬레이션에서 수집한 semantic action 시연을 실제 로봇의 sim-to-real 평가에 재사용
2B 규모 오픈소스 VLM을 소수 GPU 시간의 LoRA Fine-tuning으로 저비용 배포
사람과 agent가 GUI에서 번갈아 개입하며 실패한 로봇 rollout 보정

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Screenshot
각 행은 동일한 제어 인터페이스가 novel object, 배경·조명 변화, clutter, SHOW 문자 배열, bimanual drawer task에 적용되는 과정을 시간 순서로 배치합니다. 장면 변화와 작업 구조가 달라도 VLM이 작은 이동·grasp·release 단위를 반복해 목표를 완성하는 qualitative 사례로, 환경과 작업 변화에 대한 일반화를 시각적으로 확인하게 합니다.
새 물체, 배경·조명 변화, clutter 환경, 공간 추론, 양팔 조작에서 로봇이 물체를 집어 옮기거나 글자를 재배열하고 서랍 안에 컵을 넣는 연속 장면입니다.

키워드

Show-Harness(Embodied Harness)GUMI(GUI 기반 조작 인터페이스)Vision-Language Model(VLM, 시각-언어 모델)Semantic Action Unit(의미 행동 단위)Zero-Shot Robot Control(제로샷 로봇 제어)Embodiment-Specific Interpreter(로봇별 실행기)VLA(시각-언어-행동 모델)Sim-to-Real Transfer(시뮬레이션-현실 전이)

용어 해설

시각-언어 모델(Vision-Language Model (VLM)): — 이미지와 텍스트를 함께 입력받아 장면, 객체, 공간 관계, 지시문을 해석하는 모델입니다. 이 논문에서는 VLM의 의미적 추론 결과를 로봇의 세밀한 움직임으로 연결하는 기반 모델로 사용합니다.
시각-언어-행동 모델(Vision-Language-Action (VLA)): — 시각·언어 입력을 로봇의 저수준 행동으로 직접 변환하도록 학습한 모델입니다. 일반적으로 특정 로봇의 연속 궤적을 회귀하므로 새로운 환경이나 embodiment마다 추가 데이터와 적응이 필요합니다.
제로샷 로봇 제어(Zero-Shot Robot Control): — 로봇 제어용 추가 Fine-tuning 없이 이미 학습된 모델이 새로운 작업을 수행하는 방식입니다. Show-Harness는 VLM의 출력과 로봇별 실행기를 연결해 이 방식을 구현합니다.
로봇 embodiment별 실행기(Embodiment-Specific Interpreter): — 동일한 semantic action을 각 로봇의 좌표계, 관절 제어기, 작업공간 제한에 맞는 저수준 명령으로 결정적으로 변환하는 모듈입니다. 로봇이 바뀌어도 VLM의 행동 어휘는 유지됩니다.
시뮬레이션-현실 전이(Sim-to-Real Transfer): — 시뮬레이터에서 수집하거나 학습한 정책을 실제 로봇에 적용하는 과정입니다. 이 논문은 GUMI의 동일한 semantic action 공간으로 수집한 시뮬레이션 시연을 실제 Franka 평가에 사용합니다.
저순위 적응(LoRA): — 기존 모델의 전체 가중치를 갱신하지 않고 저순위 행렬을 추가해 일부 파라미터만 학습하는 Fine-tuning 방식입니다. 논문에서는 Qwen3.5-2B의 선형층에 rank-64 LoRA를 적용하고 약 3%의 파라미터만 갱신합니다.

Show-Harness로 VLM을 로봇 제어에 연결

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

GigaBrain-0.7의 3체계 로봇 지능 확장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

GigaBrain-0.7의 3체계 로봇 지능 확장