PyTorch 2.10과 Intel Core Ultra Series 3를 활용한 온디바이스 AI 가속화

섹션별 상세

Intel Core Ultra Series 3 프로세서는 새로운 Xe3 아키텍처와 최대 12개의 Xe-코어, 96개의 XMX AI 엔진을 탑재하여 최대 120 TOPs의 AI 연산 성능을 제공한다. LPDDR5x-9600 메모리 지원을 통해 대규모 모델과 긴 컨텍스트를 처리할 수 있는 충분한 시스템 대역폭을 확보했다.

PyTorch 2.10은 XPU 백엔드를 통해 Intel 플랫폼에서 효율적이고 유연한 AI 개발 환경을 제공한다. TorchAO와의 통합으로 int4, int8, fp8 등 다양한 데이터 타입을 지원하며, Hugging Face Transformers와 같은 표준 라이브러리의 모델을 수정 없이 직접 실행할 수 있다.

python

import torch
from transformers import AutoModelForCausalLM, TorchAoConfig
from torchao.quantization import Int4WeightOnlyConfig

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
quant_config = Int4WeightOnlyConfig(
    group_size=128,
    int4_packing_format="plain_int32"
)
quantization_config = TorchAoConfig(quant_config)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="xpu",
    torch_dtype=torch.float16,
    quantization_config=quantization_config,
)

TorchAO를 사용하여 Llama 3.1 8B 모델을 Int4 양자화로 로드하고 Intel XPU에서 실행하는 예시

SYCL 커스텀 연산자 지원이 Linux에서 Windows로 확장되어 개발자가 하드웨어 특화 커널을 직접 구현하고 통합할 수 있는 유연성이 강화되었다. 이를 통해 PyTorch CPP Extension API를 사용하여 Intel GPU의 하드웨어 기능을 최대한 활용한 도메인 특화 연산 최적화가 가능하다.

산업용 이상 탐지 라이브러리인 Anomalib를 활용하여 Intel iGPU에서 직접 모델을 학습하고 배포할 수 있다. 벤치마크 결과 Intel Core Ultra X9 388H는 이전 세대 대비 최대 2.5배 빠른 학습 속도를 기록하며, 외장 GPU 없이도 실시간 품질 관리 파이프라인 구축이 가능함을 입증했다.

python

from anomalib.data import MVTecAD
from anomalib.engine import Engine, SingleXPUStrategy, XPUAccelerator
from anomalib.models import Patchcore

datamodule = MVTecAD(category="transistor")
model = Patchcore()
engine = Engine(
    strategy=SingleXPUStrategy(),
    accelerator=XPUAccelerator(),
)

engine.train(datamodule=datamodule, model=model)

Anomalib를 사용하여 Intel iGPU에서 Patchcore 이상 탐지 모델을 학습하는 예시

Anomalib를 이용한 트랜지스터 부품의 이상 탐지 결과 시각화 이미지 — Screenshot원본 이미지와 그라운드 트루스 마스크, 아노말리 맵, 그리고 예측 마스크를 비교하여 보여준다. 모델이 트랜지스터의 다리 부분에 있는 결함을 정확하게 식별하고 영역을 표시하는 과정을 통해 산업 현장에서의 실용성을 입증한다.

Intel Core Ultra 7 265H와 Ultra X9 388H 간의 Anomalib 모델 학습 시간 비교 차트 — ChartDfm, Padim, WinClip 등 다양한 이상 탐지 모델에 대한 학습 시간을 초 단위로 비교한다. 최신 Ultra X9 388H 프로세서가 대부분의 모델에서 1.4배에서 1.7배, 특히 WinClip 모델에서는 2.5배 더 빠른 학습 성능을 보임을 수치로 증명한다.

로보틱스 라이브러리 LeRobot과의 통합을 통해 자율 조작 및 내비게이션을 위한 확산 정책(Diffusion Policy) 학습을 에지 기기에서 수행할 수 있다. 디바이스 설정을 XPU로 업데이트하는 것만으로 기존 모델들을 네이티브하게 실행할 수 있어 로보틱스 개발 효율성이 크게 향상되었다.

용어 해설

XPU: — Intel의 CPU, GPU, FPGA 등 다양한 연산 자원을 통합적으로 지칭하고 관리하기 위한 PyTorch의 디바이스 백엔드 명칭이다. 단일 프로그래밍 모델을 통해 서로 다른 하드웨어 가속기 간의 코드 재사용성을 높이고 성능을 최적화하는 역할을 한다.
TorchAO: — PyTorch 모델의 양자화(Quantization) 및 희소성(Sparsity) 최적화를 지원하는 라이브러리이다. 모델의 가중치를 낮은 비트로 변환하여 메모리 사용량을 줄이고 추론 속도를 높여 온디바이스 환경에서 대형 모델 실행을 가능하게 한다.
SYCL: — 표준 C++를 기반으로 한 이기종 컴퓨팅 추상화 계층으로, 단일 코드베이스로 CPU와 GPU 등 다양한 하드웨어를 제어할 수 있게 한다. PyTorch에서는 커스텀 연산자를 구현하여 Intel GPU의 성능을 최대한 끌어내는 데 사용된다.
양자화(Quantization): — 딥러닝 모델의 가중치와 활성화 함수 값을 높은 정밀도(예: float32)에서 낮은 정밀도(예: int4, int8)로 변환하는 기법이다. 연산량과 메모리 점유율을 획기적으로 줄여 하드웨어 자원이 제한된 에지 기기에서 효율적인 추론을 돕는다.
아노말립(Anomalib): — 딥러닝 기반의 이상 탐지(Anomaly Detection)를 위한 오픈소스 라이브러리로, 제조 공정의 결함 탐지 등에 특화되어 있다. 다양한 최신 알고리즘과 벤치마크 도구를 제공하여 산업용 AI 솔루션의 빠른 개발과 배포를 지원한다.