AI의 민주화: Arm이 수십억 명의 사용자에게 고급 지능형 기술을 제공하는 방법

섹션별 상세

Arm은 TECNO와의 협력을 통해 중저가 스마트폰에서도 실시간 생성형 AI 기능을 구현했다. 기존 생성형 AI는 높은 연산량과 지연 시간으로 모바일 적용에 한계가 있었으나 Armv9 CPU와 KleidiAI를 활용해 뷰파인더에서 초당 30프레임의 실시간 스타일 변환 효과를 달성했다.

하드웨어 측면에서는 Arm CPU에 내장된 i8MM(Integer 8-bit Matrix Multiply) 명령어를 통해 AI 워크로드의 핵심인 행렬 곱셈 연산을 가속화한다. 이는 별도의 가속기가 부족한 보급형 기기에서 CPU를 주요 AI 엔진으로 활용할 수 있게 하며 핵심 머신러닝 워크로드의 성능을 30% 향상시킨다.

소프트웨어 최적화 도구인 KleidiAI는 개발자가 하드웨어에 대한 깊은 지식 없이도 Arm CPU의 성능을 최대한 끌어낼 수 있도록 돕는다. SME2, SVE2와 같은 최신 아키텍처 기능을 주요 AI 프레임워크와 연결하여 별도의 코드 변경 없이도 즉각적인 성능 향상을 제공한다.

Armv9 CPU 아키텍처는 MediaTek Dimensity 플랫폼 등에 통합되어 수백만 대의 기기에 보급되고 있다. 이를 통해 과거 플래그십 기기에서만 가능했던 로컬 언어 모델(LLM) 실행이나 창의적인 AI 기능들이 메인스트림 스마트폰 시장 전체로 확산되고 있다.

용어 해설

8비트 정수 행렬 곱셈(i8MM): — Arm CPU에 내장된 하드웨어 명령어 확장으로 AI 연산의 핵심인 행렬 곱셈(GEMM)을 가속화한다. 전용 가속기가 부족한 중저가 기기에서 CPU를 주요 AI 엔진으로 활용할 수 있게 하여 머신러닝 워크로드 효율을 높인다.
온디바이스 AI(On-device AI): — 외부 클라우드 서버의 도움 없이 스마트폰이나 PC 등 기기 자체에서 AI 모델을 실행하고 데이터를 처리하는 기술이다. 데이터 보안 강화, 지연 시간 단축, 오프라인 작동 가능성 등의 이점을 제공한다.
확장 가능한 행렬 확장 2(SME2): — Armv9 아키텍처의 최신 기능으로 대규모 행렬 연산을 병렬로 처리하여 AI 추론 성능을 획기적으로 높인다. 생성형 AI와 같은 복잡한 워크로드를 모바일 환경에서 효율적으로 구동하는 데 핵심적인 역할을 한다.

기술

Armv9
KleidiAI
i8MM
SME2
SVE2
MediaTek Dimensity

활용 사례

실시간 이미지 스타일 변환
온디바이스 LLM
증강 현실(AR)
객체 탐지