NVIDIA Jetson과 OpenClaw를 활용한 온디바이스 오픈 모델 최적화 및 물리적 AI 시스템 구축

섹션별 상세

01

NVIDIA Jetson 플랫폼은 OpenClaw를 통해 2B에서 30B 파라미터 규모의 다양한 오픈 모델을 로컬에서 실행할 수 있는 환경을 제공한다. 개발자는 이를 활용해 API 비용 없이 개인화된 AI 어시스턴트를 구축하며, 모든 데이터 처리가 기기 내부에서 이루어져 보안성을 확보한다.

OpenClaw를 중심으로 한 AI 프레임워크와 생성형 AI 모델의 에코시스템 다이어그램 — DiagramPyTorch, TensorRT-LLM, vLLM 등 주요 프레임워크와 Llama, Gemma, Qwen 등 다양한 오픈 모델이 OpenClaw를 통해 Jetson 환경에서 통합 운영될 수 있음을 나타낸다. 이는 엣지 환경에서 개발자가 누릴 수 있는 높은 유연성과 확장성을 시각화한다.

02

Caterpillar는 Jetson Thor와 Nemotron 음성 모델을 결합하여 미니 굴착기용 Cat AI Assistant를 개발했다. 이 시스템은 클라우드 연결 없이도 현장의 좁은 작업 환경에서 작업자에게 실시간 음성 가이드와 안전 기능을 제공한다.

03

로보틱스 분야에서는 NVIDIA Isaac GR00T N1.6과 같은 VLA 모델이 Jetson Thor에서 직접 실행되어 복잡한 작업을 수행한다. Franka Robotics의 FR3 Duo 시스템은 인식부터 동작까지의 전 과정을 로컬 정책으로 실행하여 별도의 스크립트 없이도 환경 변화에 대응한다.

04

Jetson Thor는 최신 오픈 모델들에 대해 최적화된 추론 성능을 보여준다. Qwen 3.5-35B-A3B 모델은 초당 35개 토큰을 생성하며, Gemma 3는 128K의 대규모 컨텍스트 윈도우를 지원하여 로봇이 복잡한 다단계 지시사항을 기억하고 수행하도록 돕는다.

Jetson 플랫폼별 주요 오픈 모델의 출시 시기 및 초당 토큰 생성 수(TPS) 비교 차트 — ChartGemma 3 1B 모델이 T5000 플랫폼에서 가장 높은 TPS를 기록하고 있으며, 최신 모델일수록 성능과 효율성이 개선되는 추세를 보여준다. 특히 Qwen 3.5-35B-A3B와 같은 대형 모델도 실시간 상호작용이 가능한 수준의 성능을 유지함을 입증한다.

05

vLLM 컨테이너를 사용한 Mistral 3 모델군은 Jetson Thor에서 단일 실행 시 52 TPS, 동시성 8 환경에서 최대 273 TPS의 처리량을 달성했다. 이러한 성능은 엣지 디바이스에서도 데이터 센터급의 효율적인 모델 서빙이 가능함을 입증한다.

용어 해설

vLLM: — 대형 언어 모델의 추론 속도를 극대화하기 위해 설계된 오픈소스 라이브러리이다. PagedAttention 기술을 통해 메모리 관리를 최적화하며, NVIDIA Jetson과 같은 엣지 디바이스에서도 높은 초당 토큰 생성 수(TPS)를 달성하게 돕는다.
시각-언어-동작 모델(VLA Model): — 시각 정보(Vision)와 언어 명령(Language)을 동시에 이해하여 로봇의 구체적인 물리적 동작(Action)을 직접 출력하는 통합 AI 모델이다. 별도의 복잡한 스크립트 없이도 로봇이 주변 환경을 인식하고 지시사항에 따라 실시간으로 반응하게 한다.
물리적 AI(Physical AI): — 가상 세계의 데이터를 처리하는 것을 넘어 로봇, 중장비, 자율주행차 등 물리적 실체를 가진 시스템에 적용되는 AI 기술이다. 실세계의 물리 법칙을 이해하고 인간 및 환경과 실시간으로 안전하게 상호작용하는 것이 핵심이다.
컨텍스트 윈도우(Context Window): — AI 모델이 한 번에 처리하고 기억할 수 있는 텍스트나 데이터의 범위를 의미한다. 컨텍스트 윈도우가 클수록 로봇이 긴 명령 체계나 과거의 작업 이력을 더 많이 참조하여 복잡한 다단계 작업을 정확히 수행할 수 있다.

기술

NVIDIA Jetson Thor
OpenClaw
vLLM
Gemma 3
Qwen 3.5
Isaac GR00T
Nemotron

활용 사례

산업용 장비 AI 어시스턴트
자율 주행 로봇 제어
개인용 프라이빗 AI 비서
실시간 객체 인식 및 작업 계획

언급된 리소스

튜토리얼Jetson AI Lab

튜토리얼Deploying Open Source Vision Language Models on Jetson

DemoNVIDIA GTC 2026