GaP: Variational Automation 작업을 위한 그래프 기반 다중에이전트 셀프러닝 하니스

로봇의 산업·상업적 적용은 동일 작업을 오랜 기간 안정적으로 수행해야 하며, Variational Automation은 객체 기하와 자세 변동이 큰 반복 작업을 대상으로 한다. GaP는 모듈화된 계산 그래프와 에이전트 기반 저수준 스킬을 결합하여 모델프리 정책이 취약한 분포 이동 상황에서 안정적 실행을 달성하는 방법을 제시한다. 이 접근은 시뮬레이션 리허설을 통해 그래프를 자동으로 재구성하고 파라미터를 조정함으로써 수동 튜닝 비용을 줄이고 현실 전이 가능성을 높였다.

Variational Automation 문제는 작업 환경과 로봇·센서 세팅이 고정되지만 객체 기하와 초기 포즈 분포가 넓어 반복 수행에서 높은 신뢰성이 요구된다. 기존의 모델프리 VLA(vision-language-action) 접근은 환경 분포 이동과 상세한 기하적 제약에 취약하여 산업 수준의 반복 신뢰성을 확보하기 어렵다. 따라서 VA는 작업의 구조를 활용해 모델프리의 적응성과 모델기반의 검증성을 결합할 필요가 있다. GaP는 이 문제에 대해 정책을 단일 거대한 네트워크로 학습하는 대신, 원자적 스킬을 노드로 하는 계산 그래프 형태로 정책을 표현함으로써 모듈화와 타입 검증을 보장한다. 그래프 구조는 무엇을 수행할지(노드)와 어떻게 연결할지(엣지)를 분리하여 에이전트의 문맥 크기를 줄이고 각 에이전트가 지역적 책임만 다루게 한다. 이로 인해 에이전트가 인터페이스나 데이터 흐름을 잘못 기술하여 발생하는 런타임 오류와 허위 성공 모드가 감소한다. GaP의 자기학습은 시뮬레이터에서 다양한 인스턴스를 병렬로 리허설하고 각 롤아웃의 실패 데이터를 자동으로 해석하여 그래프 구조와 노드 파라미터를 갱신하는 루프를 형성한다. 이 루프는 로컬 실패 원인을 기하학적·감지적 문제로 환원하고, 스킬 교체·인식 프롬프트 조정·배치 오프셋 수정 등 구체적 조치를 적용하여 성공률을 단계적으로 향상시킨다. 최종적으로 최적화된 그래프는 엣지 장치에서 인터프리터로 반복 실행될 수 있도록 경량화된 계산 그래프로 남겨져 상업적·산업적 반복 작업에서 지속 실행 가능성을 확보한다.

전체 접근은 자연어 명세를 입력으로 받아 오케스트레이션 에이전트가 작업을 기능적 세그먼트로 분해하고, 각 세그먼트에 대해 Skill Agent가 MORSL 스킬을 사용하여 원자 노드의 서브그래프를 합성하는 구조로 구성되었다. 합성된 서브그래프들은 정적 검증을 통해 타입·엣지 무결성이 확인된 후 실행 가능한 전체 계산 그래프로 연결되며, 이 그래프는 엣지 인터프리터와 시뮬레이션 환경에서 모두 실행 가능하도록 설계되었다. 핵심 메커니즘은 내부 시뮬레이션 리허설과 실패 분석 루프이다. 시스템은 belief space에서 N개의 인스턴스를 샘플링하여 병렬로 롤아웃을 수행하고, 각 노드 실행 전후의 로봇·객체 상태를 기록하여 접촉 여부·변위·성공 기준 미충족의 기하학적 원인을 추출하였다. 수식 𝒥 = w_s · 𝕀(success) + w_t · Φ가 성능 척도로 사용되었으며, 이 수식에 대해 입력-처리-출력-해석 구조로 정리하면 다음과 같다. 수식 원문은 𝒥 = w_s · 𝕀(success) + w_t · Φ이다. 변수 의미는 𝕀(success)가 성공 여부 지시자(성공이면 1, 실패면 0), Φ가 처리량(성공률/사이클타임), w_s와 w_t는 성공·처리량 가중치이다. 계산 흐름은 개별 롤아웃에서 성공 여부를 𝕀로 얻고 사이클 타임을 측정하여 Φ를 계산한 뒤 두 항을 가중 합하여 단일 성능 점수 𝒥를 산출한다. 작은 숫자 예시는 성공률 0.9, 평균 사이클타임 60초, 가중치 w_s=1, w_t=0.01이면 Φ≈0.9/60=0.015, 𝒥≈1·1 + 0.01·0.015≈1.00015로 성공이 주지표로 크게 기여함을 의미한다. 해석은 이 가중합이 우선적으로 성공을 극대화하되 처리량도 반영하여 그래프 업데이트 결정에 균형을 제공한다는 점이다. 그래프 갱신 단계에서는 수집된 실패 피드백을 LLM 에이전트에게 전달하여 토폴로지 변경(노드 교체·엣지 재배선), 파라미터 튜닝(오프셋·목표 위치·힘 임계값 조정), 인식 프롬프트 수정 등을 수행하게 하였다. 이 과정은 병렬 롤아웃 수 N과 반복횟수 M을 인자로 받아 성능이 플래토에 도달할 때까지 반복된다.

시뮬레이션 및 실물 실험에서 GaP는 여러 VA 벤치마크에서 우수한 성공률을 기록하였다. Fulfill Grocery Orders와 Pack Grocery Items 벤치마크의 시뮬레이션 결과에서 GaP는 다양한 포지션·오리엔테이션 변동 조건에서 0.93–0.99의 성공률을 유지한 반면, 기존 VLA 모델들은 포즈 변동에서 성능 저하를 보였다. GaP와 VLA의 결합 실험에서는 GaP가 손목 카메라 정렬과 상호작용적 인지 스킬로 VLA 입력을 분포에 맞춰 줌으로써 VLA 단독 대비 두 배 수준의 성공률 개선이 관찰되었다. 실물 실험에서는 Fulfill Grocery Orders 실험에서 GaP가 25/25(100%) 성공을 달성했고 TipTop 은 8/25 성공에 그쳤으며, Make Popcorn 과제는 시뮬레이션에서 94%로 수렴하고 실제 시험에서 18/20 성공을 기록하여 시뮬레이션에서 실물로의 전이 가능성을 보였다. USB-C 케이블 삽입 벤치마크에서는 GaP가 130회 시도 중 121회 성공(0.93)을 달성하였고, 삽입 조건별 세부 성능과 실행 시간(대략 30초/삽입)은 논문 표에 기재된 대로 보고되었다. Wash Crates 시뮬레이션 비교에서 GaP는 전문가가 수작업으로 설계한 그래프와 유사한 성공률(0.95 vs 0.99)과 유사한 주기 시간을 보이며 장시간 실행에서 처리량도 근접한 성능을 보였다. 추가로 수행된 소거 실험에서 그래프 없는 단일 LLM 접근이나 단일 에이전트로의 응집은 정적 타입·엣지 검사에서 실패율이 급증하여 성공률이 거의 0으로 떨어지는 결과를 보였다.

전체 아키텍처는 자연어 명세 → 오케스트레이션 에이전트(작업 분해) → Skill Agents(서브그래프 합성) → 정적 그래프 검증 → 내부 시뮬레이션 리허설 → 그래프 업데이트의 파이프라인으로 구성된다. 노드 추상화는 각 스킬이 입력·출력 타입과 전제조건을 선언하도록 규격화되어 있어 정적 타입 검사와 엣지 연결 검증이 가능하다. MORSL 초기 카탈로그는 51개 스킬로 구성되어 있으며 인식(SAM2/Grounding DINO 등), 그립(GraspGen, Contact GraspNet 등), 모션(cuRobo/cuRobo v2 등), 포인트클라우드 유틸리티, 검증·제어 primitives를 포함한다. 내부 시뮬레이션은 Isaac-Lab을 사용하여 시각적 렌더링과 물리 접촉을 계산하고, 각 노드 실행 전후의 상태를 기록하여 실패의 기하학적 원인을 역추적하였다. 그래프 업데이트는 에이전트에게 실패 사례 집합을 제공하고 노드 교체, 엣지 재배치, 파라미터(예: 배치 오프셋, 힘·깊이 임계값) 조정, 인식 프롬프트 변경을 수행하게 함으로써 자동 최적화를 달성하였다. 구현 세부로는 병렬 롤아웃 N과 반복 횟수 M을 조절 가능한 하이퍼파라미터로 두었고, 실제 실험에서는 Gemini-3.1-Flash-Lite 계열 VLM/LLM을 온도 0.1로 사용해 에이전트의 출력을 제어하였다. 또한 엣지에서 반복 실행할 수 있도록 그래프 인터프리터를 경량화하고 ROS 노드와 호환되는 모듈을 제공하여 실물 전이 시 레거시 시스템과의 통합을 보장하였다.

논문은 GaP가 여러 VA 과제에서 성능을 크게 개선했지만 산업 수준의 완전한 신뢰성에는 아직 도달하지 못했다고 명시하였다. 실행 시간 측면에서 GaP의 처리 속도는 산업 기준(예: 500 units/hr)에 크게 못 미치며 VLM 호출과 역운동학·모션플래너의 지연이 병목으로 남아 있다. 제시한 8개 벤치마크는 주로 준정적 픽앤플레이스 유형에 국한되어 있어 변형성이 큰 변형 물체, 동적 힘 제어, 이동 타깃을 포함하는 작업군에 대한 적용성은 추가 연구가 필요하다고 한정하였다.