NVIDIA Jetson에서 vLLM을 활용한 Cosmos Reason 2B 시각 언어 모델 배포 가이드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

시각적 인식과 의미론적 추론을 결합한 시각 언어 모델(VLM)은 물리적 AI와 로보틱스 분야의 핵심 기술로 부상했다. 이 아티클은 NVIDIA Jetson AGX Thor, Orin 시리즈 등 엣지 디바이스에서 NVIDIA Cosmos Reason 2B 모델을 vLLM 프레임워크로 구동하는 전체 과정을 상세히 다룬다. 특히 하드웨어 사양에 따른 Docker 컨테이너 설정과 메모리가 제한된 환경을 위한 최적화 기법을 포함한다. 최종적으로 Live VLM WebUI를 연결하여 웹캠 영상을 실시간으로 분석하는 인터페이스 구축 방법까지 안내하여 실무적인 엣지 AI 애플리케이션 개발을 지원한다.

배경

NVIDIA Jetson AGX Thor, Orin 또는 Orin Nano Super 장치, JetPack 6 (Orin) 또는 JetPack 7 (Thor) 설치, NVMe SSD 저장 장치, NVIDIA NGC 계정 및 API 키

대상 독자

엣지 디바이스에서 실시간 시각 AI 및 로보틱스 애플리케이션을 개발하는 엔지니어

의미 / 영향

이 가이드는 고성능 VLM을 클라우드가 아닌 엣지 디바이스에서 직접 구동함으로써 지연 시간을 최소화하고 보안성을 높인 물리적 AI 구현 가능성을 보여준다. 특히 저사양 하드웨어인 Orin Nano에서도 최적화를 통해 최신 추론 모델을 실행할 수 있음을 입증하여 엣지 AI의 접근성을 확대한다.

섹션별 상세

NVIDIA Jetson AGX Thor, AGX Orin, Orin Nano Super 등 하드웨어 라인업에 따른 JetPack 버전과 저장 공간 요구사항을 정의한다. AGX Thor는 JetPack 7을, Orin 시리즈는 JetPack 6를 기반으로 하며 모델 가중치와 컨테이너 이미지를 위해 약 13GB 이상의 NVMe SSD 공간이 필요하다.

NGC CLI를 설치하고 API 키를 설정하여 NVIDIA NGC 카탈로그에서 FP8로 양자화된 Cosmos Reason 2B 모델 체크포인트를 다운로드한다. 이 과정에서 다운로드된 모델 경로를 이후 Docker 컨테이너 실행 시 볼륨으로 마운트하여 사용한다.

bash

ngc registry model download-version "nim/nvidia/cosmos-reason2-2b:1208-fp8-static-kv8"

NGC CLI를 사용하여 FP8로 양자화된 Cosmos Reason 2B 모델 체크포인트를 다운로드하는 명령어

각 장치별로 최적화된 vLLM Docker 이미지를 가져와 실행하며, 컨테이너 내부에서 vllm serve 명령어를 통해 모델을 서빙한다. AGX Thor와 Orin 64GB 모델은 8192 토큰의 충분한 컨텍스트 길이를 지원하며, --reasoning-parser qwen3 플래그를 통해 사고의 사슬(CoT) 추론 결과를 추출할 수 있다.

bash

vllm serve /models/cosmos-reason2-2b \
  --max-model-len 8192 \
  --media-io-kwargs '{"video": {"num_frames": -1}}' \
  --reasoning-parser qwen3 \
  --gpu-memory-utilization 0.8

Jetson AGX Thor 또는 Orin에서 충분한 컨텍스트 길이와 함께 vLLM 서버를 실행하는 설정

메모리가 제한된 Orin Nano Super 환경을 위해 공격적인 최적화 설정을 적용한다. --enforce-eager 플래그로 CUDA 그래프 점유 메모리를 해제하고, 컨텍스트 길이를 256으로 제한하며, --gpu-memory-utilization을 0.65로 낮추어 시스템 프로세스를 위한 여유 공간을 확보한다.

bash

vllm serve /models/cosmos-reason2-2b \
  --enforce-eager \
  --max-model-len 256 \
  --gpu-memory-utilization 0.65 \
  --max-num-seqs 1 \
  --enable-chunked-prefill \
  --VLLM_SKIP_WARMUP=true

메모리가 제한된 Orin Nano Super를 위해 CUDA 그래프를 끄고 컨텍스트를 제한하는 최적화 실행 설정

배포된 vLLM 서버를 Live VLM WebUI와 연결하여 실시간 웹캠 분석 시스템을 완성한다. WebUI 설정에서 API 베이스 URL을 vLLM 엔드포인트로 지정하고, 프레임 처리 간격을 조정하여 엣지 디바이스의 연산 부하를 관리하면서 실시간 시각 추론 결과를 브라우저에서 확인할 수 있다.

bash

curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/models/cosmos-reason2-2b",
    "messages": [ { "role": "user", "content": "What capabilities do you have?" } ],
    "max_tokens": 128
  }' | python3 -m json.tool

배포된 vLLM 서버가 정상적으로 응답하는지 확인하기 위한 API 호출 테스트

실무 Takeaway

메모리가 부족한 엣지 디바이스에서는 --enforce-eager 플래그를 사용하여 CUDA 그래프가 차지하는 메모리를 절약하고 모델을 안정적으로 로드할 수 있다.
Cosmos Reason 2B 모델 서빙 시 --reasoning-parser qwen3 옵션을 활성화하면 모델의 논리적 추론 과정을 구조화된 형태로 얻을 수 있어 분석 품질이 향상된다.
실시간 비디오 분석 애플리케이션 구축 시 프레임 처리 간격(Frame Processing Interval)을 60 이상으로 설정하여 모델이 각 프레임을 처리할 충분한 시간을 확보하는 것이 중요하다.

언급된 리소스

문서Cosmos Reason 2B on Hugging Face

GitHubLive VLM WebUI GitHub

API DocsNVIDIA NGC Model Catalog

NVIDIA Jetson에서 vLLM을 활용한 Cosmos Reason 2B 시각 언어 모델 배포 가이드

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드