EmbodiedSkills: VLA 로봇을 폐루프 에이전트로 전환

왜 중요한가

기존 VLA는 관측과 지시에서 행동을 바로 생성하지만, 긴 작업에서는 현재 상태에 맞는지와 실행 결과가 목표에 도달했는지를 별도로 확인해야 합니다. EmbodiedSkills는 고수준 결정과 물리적 실행을 분리해 잘못된 호출을 차단하고, RoboTwin 2.0 50개 작업에서 86.20%, LIBERO 네 개 suite에서 97.40%의 평균 성공률을 기록했습니다.

핵심 기여

6단계 폐루프 AgentLoop

Observe, Plan, Preflight, Execute, Verify, Recover 단계가 현재 상태에 따라 반복됩니다. 에이전트는 관측을 갱신하고 subgoal을 선택한 뒤 readiness를 확인하고 제한된 action chunk를 실행하며, 실행 후 증거에 따라 계속 진행·재관측·재계획·복구 중 하나를 선택합니다.

정책과 runtime의 실행 의미 분리

정책은 typed Skill 호출과 payload를 제안하고 runtime은 phase 호환성, 필수 입력, artifact 최신성, 행동 유효성, 합법적 상태 전이를 확인합니다. 조건을 통과한 결과만 typed artifact로 상태에 반영하며 차단된 결정과 실패 증거도 궤적에 남깁니다.

교체 가능한 모듈형 인터페이스

planner, verifier, low-level VLA policy, environment adapter가 고정된 Skill·state 계약을 공유합니다. 따라서 저수준 정책을 교체하거나 stage-specific adapter를 적용해도 AgentLoop의 실행 의미를 다시 정의하지 않아도 됩니다.

구성요소별 학습과 선택적 online adaptation

planner는 실행 가능한 semantic subgoal, low-level VLA는 subtask 조건부 action sequence, verifier는 행동 후 관측과 subgoal 완료 label을 학습합니다. 동일한 structured trajectory는 상호작용 데이터와 신뢰할 수 있는 evaluator가 있을 때 선택적 online optimization에도 사용됩니다.

핵심 아이디어 이해하기

일반적인 VLA는 이미지와 언어 지시를 받아 다음 로봇 행동을 생성하지만, 긴 조작 작업에서는 한 번의 행동 예측만으로 작업 상태를 관리하기 어렵습니다. 예를 들어 물체를 접시에 놓으려면 관련 물체를 찾고, subgoal을 정하고, 현재 상태에서 실행 가능한지 확인하고, 행동 뒤 실제 진행 여부를 판정해야 합니다.

EmbodiedSkills는 이 과정을 하나의 거대한 행동 출력으로 묶지 않고 Skill 단위의 AgentLoop로 나눕니다. 고수준 정책은 현재 phase에서 수행할 Skill과 payload를 선택하고, runtime은 required input과 최신 관측이 있는지 확인한 뒤에만 저수준 VLA 정책을 호출합니다. 저수준 정책은 active subgoal과 관측, 로봇 상태를 입력으로 받아 제한된 action chunk를 출력합니다.

행동이 끝나면 새 관측을 다시 수집하고 verifier가 active subgoal의 진행 여부를 판단합니다. 아직 완료되지 않았으면 같은 subgoal에 다음 chunk를 적용하고, 완료됐으면 다음 단계로 이동하며, 관측이 낡았거나 실행이 실패했으면 재관측·재계획·복구로 경로를 바꿉니다. 따라서 semantic subgoal을 고정된 한 번의 행동으로 강제하지 않고 실제 진행 증거에 맞춰 여러 chunk를 배분합니다.

핵심은 모델의 제안과 물리적 상태 전이를 구분하는 데 있습니다. Skill contract가 입력·출력 형식과 사전 조건, 실행 결과, 실패 증거를 관리하므로 잘못된 호출은 행동으로 조용히 변환되지 않습니다. 이 구조는 실행 실패가 object grounding, subgoal 선택, 저수준 제어, 검증 중 어디에서 발생했는지 추적할 수 있게 하며, 각 구성요소를 독립적으로 학습·교체할 수 있게 합니다.

방법론

EmbodiedSkills는 현재 phase, 사용 가능한 task artifact, 순서가 있는 loop trace로 상태를 구성합니다. 정책에는 지시문, 전체 계획, active subgoal, 최근 오류와 결정의 압축된 기록만 전달하고, 고정된 history budget을 넘는 오래된 항목은 줄이거나 제거합니다. 정책 결정은 RunSkill, AdvanceStage, FinishRun 중 하나이며, runtime은 현재 phase에 허용된 Skill과 상태 증거를 기준으로 실행 가능성을 판정합니다.

각 Skill은 typed input/output schema, prerequisite, executable operation, postcondition에 해당하는 상태 갱신, failure status와 evidence로 구성됩니다. Skill 호출이 들어오면 runtime은 phase 일치 여부, Skill 허용 여부, payload와 필수 입력, 관련 artifact의 최신성을 확인합니다. 통과한 결과는 후속 Skill이 사용할 typed artifact가 되고, 조건을 충족하지 못한 결정은 차단 기록과 함께 loop trace에 남습니다. 관측이나 active subgoal이 변경되면 의존 artifact만 무효화해 stale prediction이 새 행동을 승인하지 못하게 합니다.

AgentLoop는 Observe, Plan, Preflight, Execute, Verify, Recover의 여섯 phase를 사용하지만 고정된 일회성 pipeline은 아닙니다. Observe에서 task 관련 시각 증거를 얻고, Plan에서 ordered semantic subgoal과 실행 budget을 정하며, Preflight에서 관측·로봇 상태·환경·VLA policy 가용성을 확인합니다. Execute에서는 active subgoal, 현재 관측, robot state, readiness evidence를 저수준 VLA policy에 넣어 제한된 action chunk를 생성하고 실행합니다.

action chunk는 action type, horizon, 명령 시퀀스, subgoal·관측과의 연결 정보를 포함합니다. runtime은 horizon이 허용 범위에 있고 action schema와 차원이 맞으며 수치적으로 유효하고 현재 subgoal과 관측에 대해 최신인지 확인합니다. 실행 후 Verify는 새 증거를 사용해 Advance, Continue, Reobserve, Replan, Recover, Finish 중 경로를 선택하고, 실패 시 같은 task state와 failure evidence를 사용해 다시 실행할 context를 만듭니다.

주요 결과

RoboTwin 2.0의 50개 조작 작업에서 task별로 Fine-tuning한 π 0.5 정책은 평균 성공률 86.20%를 기록했습니다. 비교 기준인 π 0.5의 82.74%보다 3.46 percentage points 높았고, 50개 작업 중 39개에서 개선됐으며 1개에서는 동일했고 10개에서는 낮았습니다. 가장 큰 상승폭은 Hanging Mug +20, Blocks Ranking Size +15, Open Microwave +15, Move Can Pot +10, Move Stapler Pad +10이었습니다.

LIBERO-Spatial, LIBERO-Object, LIBERO-Goal, LIBERO-Long에서는 평균 성공률 97.40%를 기록해 공식 OpenPI 기준 96.85%보다 0.55 percentage points 높았습니다. Suite별 결과는 Spatial 99.0% 대 98.8%, Object 98.6% 대 98.2%, Goal 98.4% 대 98.0%, Long 93.6% 대 92.4%였으며, LIBERO-Long에서 차이가 +1.2 percentage points로 가장 컸습니다.

이전 상호작용 이력이 다음 행동에 필요한 RMBench의 memory-dependent 네 작업에서는 평균 성공률이 12.5%였습니다. Battery Try 19%, Blocks Ranking Try 9%, Cover Blocks 6%, Press Button 16%로, 실행 interface가 장기 기억이 필요한 조건에서 아직 제한적인 결과를 냈습니다.

RoboTwin 2.0의 5,000개 episode로 AgentLoop 구성요소를 비교한 결과, 전체 loop의 평균 성공률은 86.20%였습니다. 중간 검증을 제거하면 48.2%, semantic subtask conditioning을 제거하면 34.4%, 각 subtask에 32-step chunk 하나만 허용하면 19.5%로 떨어졌습니다. 전체 budget을 유지해도 검증이 없으면 관측된 진행에 따라 chunk 수를 조절하지 못하고, 전체 지시문만 사용하면 매 chunk마다 현재 단계와 필요한 동작을 다시 추론해야 하며, 단일 chunk 설정은 여러 chunk가 필요한 subtask를 완료하지 못했습니다.

기술 상세

EmbodiedSkills의 상태는 현재 phase, task artifact 집합, 순서가 있는 loop trace로 구성됩니다. artifact에는 현재 관측, perception·grounding 결과, world state, 전체 plan, active subgoal, preflight evidence, action chunk, execution report, verification report, recovery context가 포함될 수 있습니다. 정책 입력은 이 상태를 deployment와 동일한 방식으로 압축한 context이며, raw simulator internals와 무제한 log는 포함하지 않습니다.

Skill contract는 typed input/output schema와 prerequisite, 실행 연산, postcondition, failure mapping을 함께 정의합니다. 모델이 만든 결과는 schema와 prerequisite를 통과하기 전까지 proposal로 남고, 성공한 결과만 typed artifact로 상태에 추가됩니다. artifact에는 provenance와 freshness 정보가 있어 관측·계획·행동 결과의 의존성이 바뀌면 관련 결과만 무효화됩니다. 이 방식은 모델-backed Skill과 deterministic operation을 같은 orchestration 경계에서 결합합니다.

저수준 실행에서는 active subgoal, 현재 observation, robot state, preflight evidence가 action chunk 생성의 입력입니다. chunk는 action type, horizon, 명령 시퀀스, subgoal·관측 context 연결 정보를 가지며, runtime은 0보다 크고 허용 최대값 이하인 horizon, policy action schema 일치, 최신 context, 명령의 수치적 유효성을 모두 확인합니다. 실행 후 새 관측을 얻기 때문에 하나의 semantic subgoal이 여러 bounded chunk로 이어질 수 있습니다.

학습은 component-level supervised adaptation을 기본으로 합니다. planner는 task와 시각 context에서 실행 가능한 semantic subgoal sequence를 만들고, low-level VLA policy는 observation·robot state·active subgoal에서 action sequence를 학습하며, verifier는 post-execution observation과 subgoal-completion label에서 진행 판단을 학습합니다. Qwen3-VL scheduler는 phase, admissible Skill, compact state, 최근 history와 오류를 입력으로 받아 현재 단계에 맞는 Skill 결정과 구조화된 argument를 출력하고, 이 단계에서 low-level VLA policy는 고정됩니다.

선택적 online adaptation에서는 여러 rollout의 episode return을 같은 task 조건 안에서 정규화하고, 생성된 policy token에만 clipped objective를 적용합니다. 다만 논문은 episode-level attribution이 여러 결정에 동일 return을 배정해 인과 기여를 거칠게 만든다고 보고하며, online optimization을 component-level supervision을 대체하지 않는 보완 수단으로 취급합니다.

한계로는 RoboTwin 2.0에서 task별 low-level policy를 유지해야 하므로 단일 generalist policy보다 학습·저장·배포 비용이 커지는 점, 추가 VLM 호출과 post-action observation으로 latency가 늘어나는 점, 계약 검증만으로 잘못된 grounding이나 subgoal을 막을 수 없는 점이 있습니다. 시야가 가려지거나 진행 상태가 시각적으로 모호한 경우 verifier의 품질도 제한되며, 모듈별 adapter가 공유 interface에서 호환되도록 조정해야 합니다.

한계점

RoboTwin 2.0 실험은 task별로 적응한 low-level VLA policy를 사용하므로 단일 generalist policy보다 학습·저장·배포 비용이 큽니다. 추가 VLM 호출과 행동 후 관측은 single-pass action policy보다 latency를 늘립니다. Skill contract는 잘못된 상태 전이를 막지만 schema에 맞는 잘못된 grounding이나 subgoal까지 판별하지는 못하며, 가려진 진행 상태나 시각적으로 모호한 결과에서는 verification이 제한됩니다. 모듈별 adapter가 늘어나면 공유 interface의 호환성 유지가 필요하고 긴 episode에서는 작은 계획·실행 오류가 관측, retry, model call의 누적으로 이어질 수 있습니다.

실무 활용

EmbodiedSkills는 고수준 VLM의 계획·Skill 선택과 저수준 VLA의 행동 생성을 고정된 실행 계약으로 연결하려는 로봇 시스템에 활용할 수 있습니다. 각 호출의 입력, 실행 전 조건, 실행 결과, 검증·복구 경로를 기록하므로 benchmark terminal success와 별도로 subgoal 진행, 차단된 결정, 저수준 실패, 검증 오류를 분리해 추적할 수 있습니다.

긴 horizon 조작 작업에서 semantic subgoal별로 action chunk를 반복 실행하고 진행 상태에 따라 다음 경로를 선택하는 로봇 에이전트
Qwen3-VL 기반 planner 또는 scheduler와 OpenPI/ π 0.5 기반 low-level VLA policy를 공통 Skill interface로 결합하는 시스템
subtask-level demonstration으로 task별 low-level VLA policy를 적응시키면서 고수준 AgentLoop는 유지하는 실험
실행 trace와 post-action observation을 사용해 planner, verifier, scheduler를 독립적으로 Fine-tuning하는 학습 pipeline
RoboTwin 2.0와 LIBERO처럼 서로 다른 benchmark에서 공통 runtime으로 terminal success와 중간 실패를 비교하는 평가

코드 공개 여부: 공개

코드 저장소 보기

키워드

EmbodiedSkills(폐루프 VLA 에이전트 프레임워크)Vision-Language-Action Model(비전-언어-행동 모델)Executable Skill Interface(실행 가능한 Skill 인터페이스)Qwen3-VL(고수준 VLM 구성요소)OpenPI/ π 0.5(저수준 VLA 정책)Post-Action Verification(행동 후 검증)RoboTwin 2.0·LIBERO(로봇 조작 benchmark)

용어 해설

비전-언어-행동 모델(Vision-Language-Action Model): — 이미지와 자연어 지시를 입력받아 로봇 행동을 생성하는 모델입니다. EmbodiedSkills에서는 고수준 subgoal과 현재 관측, 로봇 상태를 바탕으로 제한된 action chunk를 출력하며, 실행 전 검증과 실행 후 확인을 거쳐 물리적 행동으로 연결됩니다.
실행 가능한 Skill 인터페이스(Executable Skill Interface): — Skill의 입력·출력 형식, 사전 조건, 실행 방식, 상태 갱신, 실패 정보를 하나의 계약으로 묶은 구조입니다. 모델의 Skill 호출을 즉시 행동으로 간주하지 않고 runtime이 형식과 증거를 확인한 뒤 typed artifact로 기록합니다.
제한된 행동 청크(Bounded Action Chunk): — 저수준 VLA 정책이 한 번에 생성하고 실행하는 길이가 제한된 명령 시퀀스입니다. 실행 뒤 새 관측을 수집하고 verifier가 계속 실행할지, subgoal을 진행할지 결정하므로 긴 작업을 고정된 단일 horizon으로 처리하지 않습니다.
행동 후 검증(Post-Action Verification): — 행동 청크가 끝난 뒤 새로 얻은 관측과 active subgoal을 비교해 진행 상태를 판단하는 절차입니다. 결과에 따라 다음 subgoal로 이동하거나, 같은 subgoal을 계속 수행하거나, 재관측·재계획·복구 단계로 전환합니다.
Artifact 최신성(Artifact Freshness): — 관측, 계획, 행동 결과가 현재 task state와 여전히 연결되는지 나타내는 정보입니다. 관측이나 active subgoal이 바뀌면 의존하는 artifact를 무효화해 오래된 예측이 새로운 물리적 행동을 승인하지 못하게 합니다.
구조화된 궤적(Structured Trajectory): — 모델 입력, Skill 결정, 실행 결과, runtime 오류, 검증 신호, 상태 전이를 시간 순서로 저장한 기록입니다. planner, low-level VLA, verifier를 각 인터페이스에 맞춰 학습시키고 선택적 online adaptation에 활용할 수 있습니다.

EmbodiedSkills: VLA 로봇을 폐루프 에이전트로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Zetta의 Critic 기반 로봇 기술 진화

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

LLM 에이전트 Skill의 작동 원리와 실패 경계

Show-Harness로 VLM을 로봇 제어에 연결

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Zetta의 Critic 기반 로봇 기술 진화

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

LLM 에이전트 Skill의 작동 원리와 실패 경계

Show-Harness로 VLM을 로봇 제어에 연결