챕터별 상세
로봇 학습의 데이터 확장성 문제와 동기
기존 Vision-Language-Action(VLA) 모델은 사람의 원격 조작을 통해 수집된 로봇 액션 라벨에 강하게 의존한다. 이러한 방식은 데이터 수집 비용이 매우 크고 로봇 하드웨어가 변경될 때마다 새로운 데이터를 요구하는 확장성 문제를 야기한다. 반면 인터넷에는 방대한 인간 조작 영상이 존재하지만 로봇 제어에 필요한 명시적인 액션 라벨이 없어 활용이 어려웠다. LAPA는 이러한 라벨 없는 영상을 로봇 학습에 활용하기 위해 프레임 간 변화를 액션으로 정의하는 비지도 학습 방식을 제안한다.
LAPA 프레임워크의 3단계 구조
LAPA는 크게 세 단계의 시퀀셜한 학습 과정을 거친다. 첫 번째는 영상 프레임 사이의 변화를 이산적인 토큰으로 압축하는 잠재 액션 양자화 단계이다. 두 번째는 VLM이 이미지와 언어 지시를 보고 이 잠재 액션을 예측하도록 사전학습하는 단계이다. 마지막으로 소량의 실제 로봇 데이터를 사용하여 학습된 잠재 액션을 실제 로봇 제어 신호로 매핑하는 파인튜닝 단계를 수행한다. 이 구조를 통해 모델은 일반 영상에서 동작의 본질을 먼저 배우고 로봇 하드웨어에 적응한다.
잠재 액션 양자화 (Latent Action Quantization)
VQ-VAE 아키텍처를 기반으로 두 장의 연속된 영상 프레임 사이의 변화를 잠재 액션(Latent Action) 토큰으로 변환한다. 인코더는 현재 프레임과 미래 프레임을 입력받아 변화량을 계산하고, 이를 코드북 내의 가장 유사한 벡터로 양자화한다. 디코더는 현재 프레임과 양자화된 잠재 액션 토큰을 입력받아 미래 프레임을 재구성하도록 학습된다. 이 과정을 통해 '집기', '옮기기'와 같은 동작들이 코드북 형태의 이산적 토큰으로 정의되며, 이는 로봇 하드웨어와 무관한 범용적 동작 표현이 된다.
VQ-VAE는 연속적인 잠재 공간을 이산적인 코드북 벡터로 매핑하여 데이터를 압축하는 모델이다.
잠재 액션 사전학습 및 파인튜닝
사전학습 단계에서는 Vision-Language Model(VLM)이 현재 이미지와 텍스트 지시문을 입력받아 앞서 정의된 잠재 액션 토큰을 예측한다. 이때 VLM의 비전 인코더는 고정하고 언어 모델 부분만 학습하여 효율성을 높인다. 이후 파인튜닝 단계에서는 실제 로봇의 액션 라벨이 포함된 소량의 데이터를 사용하여 잠재 액션 예측 헤드를 실제 제어 신호(Delta end-effector 등) 출력 헤드로 교체한다. 결과적으로 모델은 영상에서 배운 풍부한 동작 지식을 실제 로봇 제어에 전이하게 된다.
실험 결과 및 성능 분석
LAPA는 시뮬레이션과 실제 로봇 환경 모두에서 기존 모델들을 압도하는 성능을 보였다. 특히 액션 라벨을 사용하여 사전학습된 OpenVLA 모델과 비교했을 때, LAPA는 라벨 없이 학습했음에도 불구하고 더 높은 성공률을 기록했다. 학습 비용 측면에서는 OpenVLA가 21,500 GPU 시간이 소요된 반면, LAPA는 단 272 GPU 시간 만에 사전학습을 완료하여 약 30배 이상의 효율성을 입증했다. 또한 다양한 로봇 하드웨어 간의 전이 성능(Cross-embodiment)에서도 우수한 결과를 나타냈다.
인간 조작 영상 활용의 잠재력
로봇 데이터가 전혀 없는 인간 조작 영상(Something-Something V2 데이터셋 등)만으로 사전학습을 진행한 경우에도 LAPA는 강력한 성능을 보여주었다. 실험 결과, 인간 영상으로 학습한 LAPA 모델이 실제 로봇 데이터로 학습한 기존 모델들보다 평균적으로 더 높은 성공률을 기록했다. 이는 로봇 액션 라벨이 없는 일반 유튜브 영상 등이 로봇 파운데이션 모델을 구축하는 데 매우 가치 있는 자원이 될 수 있음을 시사한다. LAPA는 이러한 데이터의 잠재력을 끌어내는 효과적인 방법론임을 입증했다.
용어 해설
- 시각-언어-행동 모델(VLA)
- — 시각적 정보와 언어 지시를 입력받아 로봇의 구체적인 동작(Action)을 출력하는 인공지능 아키텍처이다. 로봇이 주변 환경을 이해하고 자연어 명령에 따라 적절한 제어 신호를 생성하는 핵심 기술이다.
- 잠재 액션(Latent Action)
- — 영상 프레임 사이의 시각적 변화를 추상화하여 표현한 데이터이다. 명시적인 로봇 제어 값(좌표, 각도 등) 대신 동작의 본질적인 특징을 이산적인 토큰 형태로 나타내어 라벨 없는 영상에서도 학습이 가능하게 한다.
- 벡터 양자화 변분 오토인코더(VQ-VAE)
- — 연속적인 데이터를 이산적인 코드북 벡터로 매핑하여 압축하는 생성 모델이다. LAPA에서는 영상의 변화량을 유한한 개수의 동작 토큰으로 변환하여 모델이 동작의 패턴을 효율적으로 학습하도록 돕는다.
- 원격 조작(Teleoperation)
- — 사람이 로봇을 직접 조종하여 특정 작업을 수행하게 함으로써 학습 데이터를 수집하는 방식이다. 정확한 액션 라벨을 얻을 수 있으나 수집 비용이 매우 높고 데이터 확장이 어렵다는 단점이 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 11.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
