AI를 구동하는 5가지 핵심 하드웨어 아키텍처 비교

실용적 조언

대규모 모델 학습이 목적이라면 GPU나 클라우드 TPU를 우선적으로 고려해야 한다.
모바일 앱에 AI 기능을 통합할 때는 기기 내 NPU 활용 가능 여부를 확인하여 배터리 소모를 최적화해야 한다.

섹션별 상세

CPU는 복잡한 로직과 시스템 제어에 최적화된 범용 컴퓨팅 구조를 가진다. 소수의 강력한 코어가 깊은 캐시 계층 구조와 DRAM을 활용해 분기 처리나 데이터베이스 작업 등을 수행한다. 하지만 단순 반복적인 행렬 연산이 핵심인 AI 학습이나 추론에서는 효율성이 떨어진다는 한계가 있다.

GPU는 수천 개의 작은 코어를 배치하여 동일한 명령어를 여러 데이터에 동시에 실행하는 SIMT 방식을 채택했다. 이러한 대규모 병렬 처리 구조는 신경망 연산에 필요한 수학적 계산과 직접적으로 매칭되어 현재 AI 학습 시장을 주도하고 있다. 연산 유닛과 고속 메모리 간의 균형을 통해 높은 처리량을 확보하는 것이 특징이다.

TPU는 구글이 신경망 워크로드를 위해 설계한 특수 목적 가속기로 시스톨릭 어레이 구조를 활용한다. 데이터가 연산기 격자를 흐르며 중간 결과를 메모리에 다시 기록하지 않고 다음 연산으로 전달하여 전력 효율과 속도를 높였다. 하드웨어 스케줄링 대신 컴파일러가 실행을 직접 제어하는 방식을 사용하여 최적화된 연산 흐름을 구현했다.

NPU는 스마트폰이나 IoT 기기 같은 에지 환경에서의 추론을 위해 저전력 설계에 집중했다. 고대역폭 메모리(HBM) 대신 저전력 시스템 메모리를 사용하며, 칩 내부에 SRAM과 MAC 어레이를 배치해 전력 소모를 최소화했다. 애플의 뉴럴 엔진이나 인텔 NPU가 대표적인 사례로, 한 자릿수 와트(Watt) 단위의 전력으로 AI 모델을 실행하는 것이 목표이다.

LPU는 Groq에서 선보인 최신 아키텍처로 언어 모델 처리에 특화된 성능을 제공한다. 기존 하드웨어와 달리 결정론적 스트리밍 컴퓨팅 방식을 사용하여 추론 지연 시간을 극도로 낮춘 것이 특징이다. 특히 대규모 언어 모델의 토큰 생성 속도를 혁신적으로 개선하기 위해 설계된 구조를 가졌다.

이미지 분석

Infographic
각 하드웨어의 핵심 구성 요소인 ALU, 제어 유닛, 캐시, MAC 어레이의 배치 차이를 시각적으로 보여준다. 특히 TPU의 시스톨릭 어레이와 LPU의 결정론적 스트리밍 구조가 기존 CPU/GPU와 어떻게 다른지 명확하게 비교하며, 메모리 계층 구조의 차이점도 함께 설명한다.
CPU, GPU, TPU, NPU, LPU의 내부 구조와 데이터 흐름을 비교한 인포그래픽 애니메이션이다.

용어 해설

시스톨릭 어레이(Systolic Array): — 데이터가 격자 형태의 연산기 사이를 파도처럼 흐르며 연산되는 구조이다. TPU의 핵심 설계로, 연산 중간 결과를 메모리에 매번 저장하지 않고 다음 연산기로 직접 전달하여 메모리 대역폭 병목 현상을 해결하고 행렬 연산 효율을 극대화한다.
곱셈 누산기(MAC Unit): — 두 수를 곱한 뒤 그 결과를 기존 값에 더하는 연산을 수행하는 하드웨어 유닛이다. 신경망의 행렬 곱셈 연산은 대부분 이 MAC 연산의 반복으로 구성되므로, AI 가속기의 성능은 얼마나 많은 MAC 유닛을 효율적으로 배치하느냐에 결정된다.
고대역폭 메모리(HBM): — 여러 개의 DRAM을 수직으로 쌓아 데이터 전송 속도를 획기적으로 높인 메모리 기술이다. GPU나 TPU 같은 고성능 AI 가속기에서 대규모 파라미터를 빠르게 읽고 쓰기 위해 필수적으로 사용되며, 일반 DDR 메모리보다 훨씬 넓은 대역폭을 제공한다.
정적 랜덤 액세스 메모리(SRAM): — DRAM보다 속도가 매우 빠르지만 집적도가 낮고 가격이 비싼 메모리이다. AI 칩 내부에서 연산 데이터를 임시 저장하는 캐시나 버퍼로 활용되며, NPU나 LPU 아키텍처에서 외부 메모리 접근을 줄여 전력 효율과 속도를 높이는 핵심 요소로 쓰인다.

언급된 도구

Apple Neural Engine추천

애플 기기 내 온디바이스 AI 추론 가속

Groq LPU추천

저지연 언어 모델 추론 처리

언급된 리소스

문서Groq LPU Architecture Details