임베디드 플랫폼에 로보틱스 AI 도입하기: 데이터셋 기록, VLA 파인튜닝 및 온디바이스 최적화

섹션별 상세

데이터셋 기록 시 고정된 카메라 마운트와 제어된 조명을 통해 데이터 일관성을 확보해야 하며, 특히 그리퍼 카메라(Gripper Camera) 사용을 강력히 권장한다. 그리퍼 카메라는 정밀한 조작을 돕고 운영자가 실제 장면이 아닌 카메라 입력에만 의존하게 하여 추론 환경과의 괴리를 줄인다.

VLA 파인튜닝 과정에서 ACT 모델은 100개, SmolVLA는 50개의 액션 청크 단위를 사용했으며, 단순히 훈련 손실이 낮은 시점이 아니라 훈련과 검증 세트 모두에서 실제 성공률이 가장 높은 체크포인트를 선택하는 것이 중요하다.

NXP i.MX 95 SoC 최적화를 위해 모델 그래프를 Vision, LLM Backbone, Action Expert 블록으로 분할했다. 이를 통해 각 블록의 특성에 맞는 독립적인 스케줄링과 최적화가 가능해졌으며, 특히 Action Expert를 분리하여 낮은 빈도로 실행할 수 있는 구조를 갖췄다.

양자화 적용 시 Vision 인코더와 LLM Prefill은 성능 저하가 적었으나, 반복적인 노이즈 제거를 수행하는 Action Expert의 Denoising Flow는 양자화 시 오차가 누적되어 성능이 크게 하락했다. 따라서 안정성을 위해 해당 블록은 고정밀도를 유지하고 나머지 블록에만 8비트/4비트 혼합 양자화를 적용했다.

비동기 추론(Asynchronous Inference) 기법을 도입하여 로봇이 현재 액션을 실행하는 동안 다음 액션 청크를 동시에 계산하도록 설계했다. 이는 추론 지연 시간으로 인한 로봇의 멈춤 현상을 방지하며, 추론 시간이 액션 실행 시간보다 짧아야 한다는 임베디드 제어의 핵심 제약을 충족시킨다.

용어 해설

시각-언어-동작 모델(VLA): — 시각적 입력과 텍스트 지시를 결합하여 로봇의 구체적인 행동(Action)을 직접 생성하는 멀티모달 모델이다. 텍스트 추론을 넘어 물리적 세계에서의 실시간 제어를 가능하게 하는 로보틱스 AI의 핵심 기술이다.
액션 청킹 트랜스포머(ACT): — 로봇의 동작을 개별 단계가 아닌 여러 단계의 묶음(Chunk)으로 예측하여 동작의 일관성과 부드러움을 확보하는 Transformer 기반 아키텍처이다. 적은 양의 시연 데이터로도 복잡한 조작 작업을 학습할 수 있다.
양자화(Quantization): — 모델의 가중치와 활성화 값을 고정밀도(FP32)에서 저정밀도(INT8, INT4 등)로 변환하여 연산 속도를 높이고 메모리 사용량을 줄이는 최적화 기법이다. 임베디드 기기 배포 시 필수적인 단계이다.
비동기 추론(Asynchronous Inference): — 로봇이 현재 명령을 실행하는 동안 다음 동작을 병렬로 계산하는 방식이다. 추론 시간 동안 로봇이 멈추는 유휴 시간을 제거하여 실시간 제어 빈도를 높이고 동작의 연속성을 보장한다.
단일 칩 시스템(SoC): — CPU, GPU, NPU 등 시스템 운영에 필요한 여러 핵심 부품을 하나의 칩에 통합한 반도체이다. NXP i.MX 95와 같은 SoC는 저전력 환경에서 복잡한 AI 모델을 구동하는 데 최적화되어 있다.

기술

NXP i.MX 95
ACT
SmolVLA
ONNX
eIQ Neutron NPU

활용 사례

정밀 물체 조작 로봇
임베디드 자율 제어 시스템
실시간 멀티모달 로봇 인터랙션

언급된 리소스

논문ACT documentation & paper

GitHubSmolVLA family & repos

튜토리얼Training ACT on SO-101 blog