ASPIRE: 에이전틱 스킬 발견을 통한 로봇 제어의 지속 학습 시스템

로봇 프로그램의 실패 원인은 인지, 모션, 접촉 역학 등 여러 층위가 얽혀 있어 단일 피드백 신호로는 원인 귀속과 수리가 어렵다. Aspire는 프리미티브 단위의 다중모달 실행 흔적을 노출해 실패를 정확히 귀속하고 검증된 수리 패턴을 재사용 가능한 스킬로 축적한다. 이 접근은 다양한 과제에서 반복적으로 성능을 쌓아 제로샷 일반화와 시뮬레이터에서 실로의 전이를 촉진한다.

로봇 제어 문제에서는 오류가 발생했을 때 단일 에피소드 성공 여부만으로는 근본 원인을 파악하기 어렵다. perception, planning, grasp, control 같은 프리미티브들이 연쇄적으로 작동하므로 실패의 원인은 여러 하위 모듈 중 하나에 있을 수 있다. 따라서 에이전트가 효과적으로 수리하려면 어느 프리미티브를 검사해야 하는지와 어떤 증거를 근거로 수리 전략을 선택할지 알 수 있어야 한다.

Aspire는 각 프리미티브 호출에 대해 입력값, 출력값, 리턴 상태와 관련 시각 증거를 함께 기록해 에이전트가 실패와 가장 연관된 흔적만 선별해 검사하도록 설계했다. 이로 인해 에이전트는 예를 들어 PLANNING_ERROR가 반복될 때 네비게이션 목표가 충돌 버퍼에 걸리는지, 그립 후보가 불안정한지 등을 정밀히 확인할 수 있다. 정밀한 귀속 결과는 수리의 범위를 좁혀 불필요한 수정 시도를 줄이고 재실행 예산을 절약한다.

정밀 디버깅만으로는 다양한 문제 구조를 모두 찾을 수 없으므로 Aspire는 진화적 탐색을 도입해 여러 후보 프로그램을 병렬로 생성하고 평가했다. 각 세대는 상위 성능 후보와 남은 실패 모드에 근거해 새로운 후보를 제안하도록 구성되어 단일 궤적 수리에 빠지지 않게 했다. 검증된 수리 패턴은 스킬 라이브러리로 축적되어 이후 과제에서 제로샷으로 적용될 만큼 재사용성이 확보되면 자동으로 인컨텍스트 가이던스로 활용되었다.

전체 접근은 세 요소로 구성되었다. 첫째 로봇 실행 엔진은 프리미티브 단위의 다중모달 흔적을 기록하고 에이전트가 작성한 패치를 실행해 폐쇄 루프 검증을 수행했다. 둘째 스킬 라이브러리는 검증된 수리 패턴만 수용하는 공유 저장소로서 실패 서명, 적용 조건, 코드 스케치를 함께 저장했다. 셋째 진화적 탐색은 후보 프로그램 군을 생성해 디버그 실행을 통해 성능과 잔여 실패 모드를 얻고 다음 세대를 조건화했다.

로봇 실행 엔진은 각 호출마다 호출 API, 입력과 출력, 리턴 상태, 관련 RGB 키프레임과 오버레이, 그립 후보, 모션 플래닝 결과를 번들로 저장했다. 에이전트가 전체 프레임을 받지 않고 호출 전후 프레임과 오버레이를 중심으로 증거를 조회하게 하여 정보 과부하를 줄이고 원인 귀속을 용이하게 했다. 수리 검증은 디버그 환경에서 반복 실행해 실패 재발 여부와 변형에 대한 일반화를 점검한 뒤 수행되었다.

진화적 탐색은 초기 프로그램 P^0와 디버그 셋 S_dbg로 시작해 K개의 후보를 매 반복 생성하고 각각을 Execute 루틴으로 평가했다. 평가 결과와 잔여 실패 흔적을 모아 상위 후보를 선택하고 다음 세대의 제안에 반영했다. 탐색이 종료되면 최상 후보를 검증 세트 S_val에서 실행하고 ExtractValidatedPatterns로부터 라이브러리로 편입할 수 있는 수리 패턴을 추출했다.

Aspire는 세 가지 벤치마크에서 일관되게 기존 접근을 능가했다. LIBERO-Pro의 교란 설정에서 Aspire는 기준선 대비 최대 77포인트 향상을 기록했고 공간·목표 축에서 평균 상당한 개선을 보였다. Robosuite의 이중암 핸드오버 과제에서는 기존 20%에서 Aspire가 92%로 대폭 개선되었고 여러 접촉 중심 과제에서 거의 포화 수준의 성능을 유지했다.

BEHAVIOR-1K의 장기 가정집 과제에서는 네비게이션과 과제 성공률 모두에서 인간 작성 프로그램과 CaP-Agent0를 능가했다. 특히 navigate-and-pick-up-radio 과제에서 CaP-Agent0의 56%에서 Aspire가 88%로 상승해 복합 실패 복구 능력이 장기 과제에 유의미한 영향을 미쳤다. 제로샷 전이 실험에서 LIBERO-90에서 축적한 스킬 라이브러리를 사용하면 LIBERO-Pro Long의 일부 축에서 31% 성공률을 기록해 기존 방법의 4%에 비해 큰 폭의 일반화 향상이 확인되었다.

실환경 전이 실험에서는 선택된 세 개의 시뮬레이션 스킬을 실수행 에이전트에 인컨텍스트로 제공해 디버깅 토큰과 성공률 변화를 측정했다. 소다 캔 작업의 토큰 총량은 약 61.94M에서 6.58M로 거의 한 자릿수 감소했으며 성공률은 13/20에서 19/20로 올랐다. 서랍 조작 과제는 스킬 제공 시 11/20 성공을 달성했으나 스킬 미제공군은 예산 소진으로 성공 프로그램을 생성하지 못했다.

시스템 아키텍처는 중앙 코디네이터와 병렬 액터로 구성되었다. 코디네이터는 공유되는 스킬 라이브러리를 관리하고 액터는 각 과제에 대해 코드를 생성·실행·진단·수정하는 역할을 맡았다. 액터들 사이에 전체 채팅 히스토리나 원시 롤아웃을 공유하지 않고 스킬 라이브러리를 통해 압축된 경험만 전달해 컨텍스트 윈도우를 절약했다.

로봇 실행 엔진은 각 프리미티브 호출에서 API 시그니처, 입력, 출력, 리턴 상태를 구조화해 저장했다. 시각적 증거는 호출 직전과 직후의 키프레임과 오버레이만 포함해 에이전트가 호출 주변의 증거에 집중하게 했다. 실패 귀속 과정은 리턴 상태와 연관 로그를 확인해 문제가 perception, planning, grasp, 또는 downstream recovery 중 어디에 있는지 좁히는 방식으로 수행되었다.

스킬 표현은 실패 서명, 적용 조건, 수리 전략과 선택적 코드 스케치로 구성된 컴팩트한 인컨텍스트 가이던스 포맷이다. 코디네이터는 액터가 보고한 구조화된 발견 내용을 심사해 API 사용 정책 준수 여부와 재사용성을 검증한 뒤에만 스킬을 라이브러리에 편입했다. 진화적 탐색은 K 후보 생성, Execute 평가, 히스토리 갱신, 최상 후보 검증의 루프를 통해 수행되며 탐색 예산이 완료되거나 성공 기준 θ에 도달하면 종료되었다.

실험적 세팅에서는 시뮬레이션 벤치마크에서 Claude Code 에이전트와 Claude Opus 4.6 모델을 사용해 코드를 생성하고 CaP-X 프레임워크에 맞는 파이썬 프로그램을 출력했다. 실제 로봇 전이 실험에서는 다른 LLM을 사용해 서로 다른 API·로봇 장치에서 스킬을 인컨텍스트로 제공하는 방식으로 전이를 검증했다. 시스템은 사전에 정의된 perception, planning, control primitive API 집합을 사용해 안전성과 해석 가능성을 확보했다.

시뮬레이션에서 얻은 성과가 실세계의 완전한 자율 평생학습으로 직결되지는 않았다. 실환경에서는 성공 판정, 안전한 리셋, 모니터링, 캘리브레이션 유지 등 추가적 인프라가 필요해 현재 시스템은 완전 자동화된 실세계 학습기로 보긴 어렵다. 또한 실험은 고성능 LLM(Claude Opus 4.6, 1M 토큰 컨텍스트)을 전제로 하므로 성능이 작은 모델에서도 재현되는지는 확인되지 않았다.

시스템이 미리 정의된 프리미티브 API에 의존하므로 노출되지 않은 센싱 또는 제어 능력이 요구되는 과제는 비효율적으로 처리되거나 인간의 개입을 필요로 했다. 스킬 라이브러리의 장기적 관리 문제도 남아 있다. 라이브러리가 커지면 오래되거나 과도하게 특정한 항목이 누적될 수 있어 강건한 검색·정리·재검증 메커니즘이 필요하다.

진행 루프는 계산적으로 비용이 높았다. 많은 LLM 호출과 시뮬레이터 또는 로봇 롤아웃이 소모되어 대규모 과제군으로 확장하려면 더 저렴한 LLM 추론, 샘플 효율적 탐색, 또는 기존 수리의 재사용을 향상시키는 추가적 기법이 필요했다.