임베디드 플랫폼에 로보틱스 AI 도입하기: 데이터셋 기록, VLA 파인튜닝 및 온디바이스 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

로봇 제어를 위한 VLA 모델을 임베디드 플랫폼에 배포하는 것은 연산 자원과 실시간성 제약으로 인해 까다로운 시스템 엔지니어링 과제이다. NXP는 i.MX 95 SoC를 기반으로 고품질 로보틱스 데이터셋 구축 방법과 ACT, SmolVLA 모델의 파인튜닝 전략을 공유한다. 특히 모델을 논리적 블록으로 분할하여 최적화하고, 비동기 추론을 통해 로봇의 유휴 시간을 제거함으로써 부드러운 동작을 구현했다. 이러한 접근법은 임베디드 환경에서도 복잡한 멀티모달 파운데이션 모델을 실용적으로 운용할 수 있음을 입증한다.

배경

Deep Learning 기초, 로보틱스 제어 개념, 임베디드 시스템 및 SoC 아키텍처 이해

대상 독자

임베디드 로보틱스 개발자 및 VLA 모델 배포 엔지니어

의미 / 영향

이 연구는 고성능 VLA 모델을 클라우드가 아닌 엣지 기기에서 실시간으로 구동할 수 있는 구체적인 방법론을 제시한다. 이는 저지연, 저전력이 필수적인 산업용 및 가정용 로봇의 자율성을 크게 향상시킬 수 있는 기술적 토대가 된다.

섹션별 상세

데이터셋 기록 시 고정된 카메라 마운트와 제어된 조명을 통해 데이터 일관성을 확보해야 하며, 특히 그리퍼 카메라(Gripper Camera) 사용을 강력히 권장한다. 그리퍼 카메라는 정밀한 조작을 돕고 운영자가 실제 장면이 아닌 카메라 입력에만 의존하게 하여 추론 환경과의 괴리를 줄인다.

VLA 파인튜닝 과정에서 ACT 모델은 100개, SmolVLA는 50개의 액션 청크 단위를 사용했으며, 단순히 훈련 손실이 낮은 시점이 아니라 훈련과 검증 세트 모두에서 실제 성공률이 가장 높은 체크포인트를 선택하는 것이 중요하다.

NXP i.MX 95 SoC 최적화를 위해 모델 그래프를 Vision, LLM Backbone, Action Expert 블록으로 분할했다. 이를 통해 각 블록의 특성에 맞는 독립적인 스케줄링과 최적화가 가능해졌으며, 특히 Action Expert를 분리하여 낮은 빈도로 실행할 수 있는 구조를 갖췄다.

양자화 적용 시 Vision 인코더와 LLM Prefill은 성능 저하가 적었으나, 반복적인 노이즈 제거를 수행하는 Action Expert의 Denoising Flow는 양자화 시 오차가 누적되어 성능이 크게 하락했다. 따라서 안정성을 위해 해당 블록은 고정밀도를 유지하고 나머지 블록에만 8비트/4비트 혼합 양자화를 적용했다.

비동기 추론(Asynchronous Inference) 기법을 도입하여 로봇이 현재 액션을 실행하는 동안 다음 액션 청크를 동시에 계산하도록 설계했다. 이는 추론 지연 시간으로 인한 로봇의 멈춤 현상을 방지하며, 추론 시간이 액션 실행 시간보다 짧아야 한다는 임베디드 제어의 핵심 제약을 충족시킨다.

실무 Takeaway

로보틱스 데이터 수집 시 그리퍼 카메라를 활용하면 정밀 조작 작업의 성공률을 높이고 운영자의 직접 관찰에 따른 데이터 편향을 방지할 수 있다.
임베디드 배포 시 모델 전체를 양자화하기보다 오차에 민감한 Action Expert 블록은 고정밀도로 유지하고 나머지는 혼합 양자화하는 전략이 효과적이다.
실시간 제어를 위해 비동기 추론 파이프라인을 구축하여 추론 중에도 로봇이 멈추지 않도록 설계함으로써 동작의 부드러움과 복구 능력을 개선할 수 있다.

언급된 리소스

논문ACT documentation & paper

GitHubSmolVLA family & repos

튜토리얼Training ACT on SO-101 blog