구글의 7세대 TPU 'Ironwood'에 대해 알아야 할 3가지

섹션별 상세

01

Ironwood는 추론 중심 시대에 맞춰 설계된 7세대 TPU로, 대규모 고성능 저지연 AI 모델 서빙에 특화되었다. 이전 세대와 비교했을 때 칩당 학습 및 추론 워크로드 성능이 4배 이상 향상되었으며, 구글의 커스텀 실리콘 중 가장 강력하고 에너지 효율적인 성능을 자랑한다.

Ironwood 칩 4개와 데이터 센터 서버 랙 전경을 보여주는 이미지이다. — Photo새로 출시된 7세대 TPU인 Ironwood의 실물 칩 형태와 이것이 실제 구글 데이터 센터의 대규모 서버 인프라에 어떻게 배치되는지 시각적으로 전달한다.

Ironwood 칩 4개가 나란히 배치된 근접 사진이다. — Photo구글이 자체 설계한 7세대 커스텀 실리콘인 Ironwood의 물리적 디자인을 상세히 보여준다.

02

AI 하이퍼컴퓨터(AI Hypercomputer) 아키텍처를 통해 대규모 확장이 가능하다. 단일 슈퍼포드 내에서 최대 9,216개의 Ironwood 칩을 연결할 수 있으며, 9.6 Tb/s 속도의 Inter-Chip Interconnect(ICI) 네트워크를 통해 칩 간 통신 병목 현상을 해결했다.

CPU, GPU, TPU의 구조적 차이를 시각화한 인포그래픽이다. — Infographic일반적인 프로세서(CPU), 병렬 처리용 GPU, 그리고 머신러닝에 최적화된 TPU의 설계 차이를 비교하여 TPU가 왜 AI 연산에 더 효율적인지 설명한다.

03

방대한 메모리 자원을 공유하여 데이터 처리 속도를 극대화했다. 슈퍼포드 내의 칩들은 총 1.77 페타바이트(PB)에 달하는 공유 고대역폭 메모리(HBM)에 신속하게 접근할 수 있어, 가장 까다로운 요구 사항을 가진 최첨단 AI 모델도 효율적으로 구동할 수 있다.

04

구글의 하드웨어와 소프트웨어 연구 간의 긴밀한 협업(Co-design)을 통해 탄생했다. Google DeepMind의 연구원들이 Gemini와 같은 모델에 필요한 아키텍처 요구 사항을 TPU 엔지니어에게 직접 전달하며, 강화 학습 기반의 AI 설계 도구인 'AlphaChip'을 활용해 칩 레이아웃을 최적화했다.

용어 해설

텐서 처리 장치(TPU): — 구글이 AI 워크로드를 가속하기 위해 자체 설계한 ASIC(주문형 반도체)이다. 행렬 연산에 특화된 아키텍처를 가져 일반적인 GPU보다 특정 딥러닝 작업에서 높은 에너지 효율과 처리 속도를 제공한다.
추론(Inference): — 학습된 AI 모델을 사용하여 실제 데이터를 입력받고 결과를 도출하는 실행 단계이다. 서비스 운영 단계에서 실시간 응답 속도와 비용 효율성을 결정짓는 핵심적인 과정이다.
고대역폭 메모리(HBM): — 여러 개의 DRAM을 수직으로 쌓아 데이터 전송 대역폭을 획기적으로 높인 메모리 기술이다. 대규모 파라미터를 가진 AI 모델이 방대한 데이터를 빠르게 주고받아야 하는 환경에서 병목 현상을 해결한다.
칩 간 상호 연결(ICI): — 여러 개의 TPU 칩을 고속 네트워크로 연결하여 하나의 거대한 가상 컴퓨터처럼 작동하게 만드는 기술이다. Ironwood는 9.6 Tb/s의 초고속 연결을 지원하여 수천 개의 칩이 데이터를 즉각 공유하도록 돕는다.
알파칩(AlphaChip): — 강화 학습을 활용하여 반도체 칩의 레이아웃을 자동으로 설계하는 구글의 AI 기술이다. 사람이 설계하는 것보다 더 효율적인 칩 배치를 단시간에 찾아내어 하드웨어의 성능과 전력 효율을 극대화한다.

기술

TPU v7 (Ironwood)
AlphaChip
Google Cloud
HBM

활용 사례

Large-scale AI Inference
LLM Training
Model Serving