ExecuTorch와 Arm을 활용한 엣지 기기용 PyTorch 모델 배포 가이드

섹션별 상세

ExecuTorch는 PyTorch 모델을 .pte라는 컴팩트하고 휴대 가능한 이진 포맷으로 변환하여 운영체제가 없는 임베디드 환경에서도 실행 가능하게 한다. 이 과정에서 가중치와 활성화 함수를 float32에서 int8 정수형으로 변환하는 양자화가 수행되어 메모리 점유율과 연산 비용을 획기적으로 줄인다.

Tiny RPS(가위바위보) 게임 프로젝트는 데이터셋 생성부터 모델 학습, ExecuTorch 내보내기, 가상 플랫폼 배포까지 이어지는 완전한 TinyML 워크플로우를 제공한다. 28x28 그레이스케일 이미지를 분류하는 소형 CNN 구조를 사용하여 임베디드 환경에 최적화된 설계를 채택했다.

Arm Corstone-320 FVP(Fixed Virtual Platform)를 활용하면 실제 하드웨어 없이도 Cortex-M CPU와 Ethos-U NPU가 조합된 환경을 소프트웨어적으로 시뮬레이션할 수 있다. 개발자는 로컬 리눅스 환경에서 .pte 파일을 실행하여 실시간 온디바이스 추론 성능을 검증하고 인터랙티브한 테스트를 진행할 수 있다.

python

import torch
import torch.nn as nn

class TinyRPS(nn.Module):
    def __init__(self):
        super().__init__()
        self.body = nn.Sequential(
            nn.Conv2d(1, 16, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(16, 32, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(2),
        )
        self.head = nn.Sequential(
            nn.Flatten(),
            nn.Linear(64 * 7 * 7, 128),
            nn.ReLU(inplace=True),
            nn.Linear(128, 3),
        )

    def forward(self, x):
        x = self.body(x)
        x = self.head(x)
        return x

가위바위보 이미지를 분류하기 위해 설계된 경량 CNN 모델 구조 정의

python

from executorch import exir
from torch.export import export

def export_to_pte(model: nn.Module, out_path: str, img_size: int) -> None:
    model.eval()
    example = torch.zeros(
        1, 1, img_size, img_size, dtype=torch.float32
    )
    # Export with PyTorch’s exporter
    exported = export(model, (example,))
    edge = exir.to_edge(exported)
    prog = edge.to_executorch()
    with open(out_path, "wb") as f:
        f.write(prog.buffer)
    print(f"[export] wrote {out_path}")

학습된 PyTorch 모델을 ExecuTorch용 .pte 파일로 내보내는 과정

PyTorch의 유연한 실험 환경이 데이터 센터에 국한되지 않고 IoT 센서나 웨어러블 기기 같은 마이크로 엣지 영역까지 확장될 수 있음을 입증했다. 이는 저전력 기기에서도 프라이버시를 보호하며 실시간 AI 기능을 구현할 수 있는 기술적 토대를 마련한다.

터미널에서 실행 중인 가위바위보 게임의 ASCII 아트와 모델 추론 결과 화면이다. — Screenshot모델이 사용자의 입력을 'paper'로, 상대방의 입력을 'rock'으로 각각 100% 확률로 정확히 인식하여 승리 판정을 내리는 과정을 보여준다. 이는 ExecuTorch가 임베디드 시뮬레이션 환경에서 실시간 추론을 성공적으로 수행함을 입증하는 결과물이다.

용어 해설

엑시큐토치(ExecuTorch): — PyTorch 모델을 모바일 및 엣지 기기에서 효율적으로 실행하기 위한 경량 런타임이다. 모델을 컴팩트한 .pte 포맷으로 변환하고 양자화 및 그래프 최적화를 수행하여 메모리 제약이 심한 환경에서도 고성능 추론을 가능하게 한다.
타이니 머신러닝(TinyML): — 마이크로컨트롤러와 같이 전력 소비가 매우 적고 메모리 자원이 극도로 제한된 하드웨어에서 머신러닝 모델을 실행하는 기술 분야이다. 킬로바이트 단위의 RAM에서도 동작할 수 있도록 모델 경량화와 최적화가 필수적이다.
양자화(Quantization): — 모델의 가중치와 활성화 함수 값을 높은 정밀도(예: float32)에서 낮은 정밀도(예: int8)로 변환하는 기법이다. 모델의 크기를 줄이고 연산 속도를 높이며 메모리 사용량을 획기적으로 절감하여 엣지 기기 배포에 핵심적인 역할을 한다.
신경망 처리 장치(NPU): — 인공지능 모델의 핵심 연산인 행렬 곱셈 등을 가속하기 위해 설계된 전용 하드웨어 가속기이다. CPU나 GPU보다 전력 효율이 높고 딥러닝 추론에 최적화되어 있어 모바일 및 임베디드 기기에서 널리 사용된다.
고정 가상 플랫폼(FVP): — 실제 하드웨어 칩이 없어도 소프트웨어적으로 특정 하드웨어 아키텍처(예: Arm Corstone)의 동작을 시뮬레이션할 수 있는 도구이다. 개발자는 이를 통해 실제 보드에 펌웨어를 굽기 전에 로컬 환경에서 코드를 검증하고 테스트할 수 있다.

기술

PyTorch
ExecuTorch
Arm Corstone-320
Ethos-U NPU
Python

활용 사례

IoT 센서 데이터 분석
웨어러블 기기 제스처 인식
저전력 임베디드 비전 시스템

언급된 리소스

튜토리얼Edge AI with PyTorch & ExecuTorch – Tiny RPS on Arm